動的環境下の強化学習アルゴリズム : Sequential Monte Carlo とサンプル初期化
スポンサーリンク
概要
- 論文の詳細を見る
強化学習の枠組みはエージェントと環境から成っており、行動、状態、報酬の3つの変数による相互作用によってエージェントの学習が行われる。これまで報告されているアルゴリズムの多くは静的な環境を前提としているため、環境が激変する場合、学習に支障をきたす事がままある。それは例えば学習が非常に遅くなる、もしくは学習自体が破綻してしまう、等である。本論文では、エージェントが環境変化に対応可能な機構を持つ手法の提案を行う。強化学習をベイズ的枠組みから定式化し、サンプルを初期化(再採取)する新たなアルゴリズムを備えたSequential Monte Carlo (SMC)で実装する。このアルゴリズムを動的環境を含む強化学習問題に適用し、その有効性を示す。
- 社団法人電子情報通信学会の論文
- 2005-03-22
著者
-
中田 洋平
早稲田大学大学院理工学研究科
-
松本 隆
早稲田大学大学院理工学研究科
-
松本 隆
早稲田大学先進理工学学術院 電気・情報生命工学科
-
松本 隆
早稲田大学大学院先進理工学研究科
-
田中 昭雄
早稲田大学大学院理工学研究科:独立行政法人科学技術振興機構
-
中田 洋平
早稲田大学大学院先進理工学研究科
-
松本 隆
早稲田大 理工
関連論文
- サンプリング技術を利用した文章類似性評価
- サンプリング技術を利用した文章類似性評価(文書分類・翻訳)
- ベイズ隠れマルコフモデルを用いたスポーツイベント検出の高精度化 (パターン認識・メディア理解)
- ディリクレ過程事前分布言語モデルに対する事後確率最大化推定法(一般セッション2,複合現実感のためのパターン認識・理解)
- ベイズ学習の実装 : MCMC/SMC/DPEM(オーガナイズドセッション,コンピュータビジョンとパターン認識のための学習理論)
- ベイズ学習の実装 : MCMC/SMC/DPEM(オーガナイズドセッション1)
- ベイズ学習に基づく隠れマルコフモデルを用いたスポーツ映像解析におけるイベント検出(テーマ関連セッション2)
- オンライン手書き文字認識アルゴリズムRAV : Reparameterized Angle Variations
- ヒルクライミング法を用いた攻撃に強いオンライン署名認証アルゴリズム(研究速報)
- D-12-26 ベイズ的手法による動画像顔検出の高速化と高精度化(D-12. パターン認識・メディア理解,一般セッション)
- 多重ハイパーパラメータ正則化モデルとその応用について
- Maximum Evidence Nonlinear Time Series Prediction and Applications
- Maximum Evidence 時系列予測について
- 2F-4 文字入力支援システムDasherの日本語実装(インタフェースデザイン,一般セッション,インタフェース)
- ディリクレ過程事前分布EMアルゴリズムによる顔画像検出(一般セッション1,複合現実感のためのパターン認識・理解)
- GibbsBoost顔検出と映像監視業務への応用
- ヒストグラムを用いたピクセル生成モデルにもとづく逐次モンテカルロ動画像追跡(日本語セッション1,第二回日韓パターン認識ワークショップ(KJPR))
- I_017 逐次モンテカルロ動画像追跡 : 速度パラメータ,検索範囲の自動調整による精度向上(I分野:画像認識・メディア理解)
- I_008 GibbsBoostによる正面顔画像検出 : 事前情報を考慮するBayes的アプローチ(I分野:画像認識・メディア理解)
- C-12-42 2.5V CMOS Fully Differential Low Power High Linearity Analog Line-Driver
- C-12-43 A Constant Bandwidth CMOS VGA ckt.
- ベイズ学習の実装
- BT-7-1 ユーザ個人性を考慮し,AdaBoostを用いたユーザ共通型オンライン署名認証(BT-7.若手研究者によるバイオメトリックセキュリティの新提案,チュートリアルセッション,ソサイエティ企画)
- BT-7-2 動画像から抽出した特徴を用いたオンライン署名認証(BT-7.若手研究者によるバイオメトリックセキュリティの新提案,チュートリアルセッション,ソサイエティ企画)
- BT-7-3 ウェブカメラを用いたオンライン署名認証システムの実装(BT-7.若手研究者によるバイオメトリックセキュリティの新提案,チュートリアルセッション,ソサイエティ企画)
- 未知非線形系に対するオンライン変化検出手法 : 逐次モンテカルロ法を用いたベイズ的アプローチ(非線形問題)
- 自然逐次事前分布によるオンラインベイズ学習(情報理論)
- 動画像によるオンライン署名認証 : Sequential Monte Carloを用いたペン先追跡(パターン認識・メディア理解のための学習理論とその周辺)
- A-2-3 動的判別問題に対するオンラインベイズ学習への自然逐次事前分布の導入(A-2.非線形問題,一般講演)
- H-025 ベイズ的動画像顔検出における顔候補領域の逐次予測(H分野:画像認識・メディア理解)
- ハミルトニアンモンテカルロ法によるBayes的顔画像認識
- Bayes 的 Markov Chain Monte Carlo 顔画像認識
- Bayes的Markov Chain Monte Carlo顔画像認識(映像メディア及び一般)
- Bayes的Markov Chain Monte Carlo顔画像認識(映像メディア及び一般)
- クロスエントロピーを用いた複数移動物体追跡の高速化
- A-17-7 視覚障害者向けGPSナビゲーションシステムにおけるカメラと画像検索サイトを用いた歩行支援(A-17. ITS,一般セッション)
- LF_002 逐次学習型顔画像認識におけるSMCサンプル数の動的制御(F分野:人工知能・ゲーム)
- ベイズ隠れマルコフモデルを用いたスポーツイベント検出の高精度化(一般,顔・人物・ジェスチャ・行動)
- ベイズ隠れマルコフモデルを用いたスポーツイベント検出の高精度化(一般,顔・人物・ジェスチャ・行動)
- C-12-48 2次元DCTインテリジェントイメージセンサの試作
- C-12-32 S/H回路を用いたCMOSマッチフィルタの設計
- C-12-33 オフセット補償機能を持つ差動増幅器の試作
- C-12-24 オフセット補償機能を有するフローティングゲート付差動増幅器
- 3-3 エッジ検出用ビジョンチップの試作
- エッジ検出用インテリジェントイメージセンサチップの試作
- エッジ検出用インテリジェントイメージセンサチップの試作
- C-12-57 DCT演算画像フィルタプロトタイプチップの評価
- CMOS並列画像フィルタプロトタイプチップの評価
- 10-1 DTCも可能なアナログ演算回路のためのプロトタイプチップの評価
- フローティングゲートMOSを用いたResistive Fuseの実装(固体撮像とその関連技術)
- フローティングゲートを用いるアナログ積和演算回路のプロトタイプチップについて
- フローティングゲートを用いるアナログ積和演算回路の集積度について
- CMOSフローティングゲートResistive Fuseチップ
- フローティングゲートを用いるアナログ積和演算回路の演算精度向上について
- インテリジェントイメージセンサのためのフローティングゲートを用いる演算方式について(固体撮像とその関連技術)
- クロスエントロピーを用いた複数移動物体追跡の高速化
- 脳波SSVEP2値判別問題における逐次誤差率の評価 : ベイズ的逐次型学習によるSequential Monte Carlo実装
- 背景を考慮した Cross Entropy による高速な複数物体追跡
- A "Variable Capacitance" Circuit for Tuning Integrated Filters and Oscillators
- C-12-23 A 430MHz, -47.5dB THD, Single Transconductor, 5th-OrderLow-Pass Filter in a 0.5μm CMOS Process
- D-12-25 Bayesian MCMC オンライン署名照合
- C-12-43 有線 CDMA インターフェースシステムの検討
- C-12-33 CMOS スイッチトキャパシタ DC-DC コンバータ
- D-12-69 少量学習データセットでのHMMオンライン文字認識アルゴリズム
- D-12-63 低解像度のタブレットにおける署名照合
- A-7-11 相対ペントラジェクトリーによるオンライン署名照合
- A 500MS/sec -54db THD Open-Loop CMOS Sample-and-Hold Stage
- C-12-25 A Highly Linear Open-Loop Full CMOS High-Speed Sample-and-Hold Stage
- D-12-64 隠れ変数を考慮したRBSMC法による自己位置地図同時推定(D-12.パターン認識・メディア理解,一般講演)
- D-8-10 有限差分確率近似法を用いたメタ強化学習(D-8.人工知能と知識処理,一般講演)
- D-8-9 変化検出機構内包モデルによるモンテカルロ自己位置推定の改良(D-8.人工知能と知識処理,一般講演)
- Sequential Monte Carlo による強化学習メタパラメータ調整
- 動的環境下の強化学習アルゴリズム : Sequential Monte Carlo とサンプル初期化
- ベイズ的非線形ダイナミカルシステムの再構成と予測 : Hybrid Monte Carlo(パターン認識)
- ON-LINE MONTE CARLO 学習 (力学系理論と複雑系の数理)
- 階層ベイズ的ニューラルネットのモデル比較および予測分布 : 二次近似vs. MCMC
- D-12-18 署名照合アルゴリズムPPI
- Sequential Monte Carloによるインターネット・パケット伝送遅延時間予測(統計的学習理論及び一般)
- D-2-5 low-discrepancy 列を用いた Markov Chain Monte Carlo
- D-2-6 Sequential Monte CarloによるHyperparameterのOn-Line学習
- D-2-3 Rao-Blackwellised Sequential Monte Carloによるニューラルネットの学習
- 視覚前注意過程におけるテクスチャー境界検出モデル : 視聴覚技術
- オンライン手書き文字認識アルゴリズムRAVの筆順違い文字自動登録
- オンライン手書き文字認識アルゴリズムR.A.V.認識率を向上させるストローク位置対応の考慮
- 状態維持確率にポアソン分布を用いた一般化隠れマルコフモデルによる膜タンパク質構造予測
- 顔のGaborウェーブレット特徴量の推定
- 21-9 顔面像認識システム「FAVRET」におけるデータベース獲得の自動化
- 顔の向き推定を目指したGabor wavelet特徴量の解析
- D-12-88 顔画像からの顔のポーズ推定方法
- 2次元連続区分線形同相写像におけるカオス的アトラクタの存在証明
- 2次元同相写像におけるトラッピング領域の存在証明
- ダイナミカルノイズに隠された力学系とその分岐構造の推定
- 非線形予測子パラメータ族によるカオス的時系列データの認識
- モンテカルロ法を用いたオンライン署名認証
- ユーザ共通Fusionモデルを用いたオンライン署名認証(パターン認識)
- 「逐次周辺尤度」変化検出アルゴリズム : Sequential Monte Carlo 的アプローチ
- 「逐次周辺尤度」変化検出アルゴリズム : Sequential Monte Carlo 的アプローチ
- ダイナミカルシステムの階層ベイズ的最小埋め込み次元推定(情報数学)
- D-12-24 ペン位置軌跡情報を用いた HMM On-line 署名照合
- D-2-4 Bayes 的 Sequential Monte Carlo 学習における Rao-Blackwellisation の効果