自然方策こう配法 : 平均報酬の自然こう配に基づく方策探索(人工知能,認知科学)
スポンサーリンク
概要
- 論文の詳細を見る
一般に統計モデルや学習機械のパラメータの空間は,その出力の変化に関してユークリッドではなくリーマン空間としての性質をもち,その最急こう配方向は従来のこう配である出力の偏微分と必ずしも一致しない.この問題に対してAmariは自然こう配法を提案し,Kakadeがマルコフ決定過程の最適化手法の一つである方策こう配強化学習法に自然こう配を適用した.自然こう配方向はリーマン構造を規定するリーマン計量のもと定まるので,その選択は重要な問題となる.しかしながら,Kakadeの用いたリーマン計量行列は方策のパラメータ摂動による行動の確率分布変化だけを考慮した計量行列であり,同様に方策の影響を受けるはずの状態の確率分布変化に関しては無視していた.そこで本論文では,状態の確率分布も考慮した新しいリーマン計量を提案し,その計量に基づく新しい自然方策こう配を導出する.更に,この自然方策こう配は方策パラメータにより規定される基底関数をもつ線形関数近似器で即時報酬を近似した際に学習されるパラメータに一致することを証明する.また様々な状態数のマルコフ決定問題に適用した数値実験より,特に状態数が多い場合に従来法に比べ提案法は有効に働くことを示す.
- 2008-06-01
著者
-
森村 哲郎
奈良先端科学技術大学院大学情報科学研究科
-
銅谷 賢治
奈良先端科学技術大学院大学
-
吉本 潤一郎
Oist:奈良先端科学技術大学院大学
-
内部 英治
沖縄科学技術大学院大学先行研究事業
-
吉本 潤一郎
奈良先端科学技術大学院大学情報科学研究科
-
銅谷 賢治
奈良先端科学技術大学院大学情報科学研究科:沖縄科学技術研究基盤整備機構
-
内部 英治
沖縄科学技術研究基盤整備機構
-
森村 哲郎
奈良先端科学技術大学院大学:oist
-
吉本 潤一郎
沖縄科学技術研究基盤整備機構神経計算学ユニット|奈良先端科学技術大学院大学情報科学研究科
関連論文
- モデルフリーとモデルベース戦略の課題依存的な選択(BCI/BMIとその周辺)
- 手の系列運動における選択的サッカード(脳・ヒューマンモデリング1, 脳・ヒューマンモデリング, 一般)
- 感覚情報の能動的低次元化による強化学習(機械学習によるバイオデータマインニング,一般)
- 方策勾配に基づく効率の良い課題非依存な強化学習法(創発システム,人工知能分野における博士論文)
- MEGとEOGを用いた眼球と大脳皮質の同時電流源推定によるMEG眼球アーチファクト除去(一般, 脳・ヒューマンモデリング, 一般)
- 眼球と大脳皮質の同時電流源推定による MEG 眼球アーチファクト除去
- 自由エネルギーを用いた強化学習による状態のタスク依存な集団符号化(一般,機械学習によるバイオデータマインニング・生命現象の非線形性,一般)
- 自然方策こう配法 : 平均報酬の自然こう配に基づく方策探索(人工知能,認知科学)
- ヒト円滑性追跡眼球運動における非周期視標運動の予測と学習(「脳・認知科学」及び一般)
- サル側頭葉顔細胞のVB法による混合正規分布解析
- サル側頭葉の顔細胞の集団ダイナミクス : MDSによる解析と連想記憶回路によるモデル化
- 線形ダイナミカルシステムモデルの変分ベイズ推定による遺伝子発現時系列のシステム同定
- 強化学習の基礎理論と応用
- ヒト大脳皮質における円滑性追跡眼球運動のための視標運動予測に関連する領域の機能的同定
- MST野の細胞集団ダイナミクスを含む円滑性追跡眼球運動モデルとその計算理論
- ベイズフィルタによる円滑性追跡眼球運動のモデル化
- 連続力学システムの自動制御のためのオンラインEM強化学習法^*
- 空間的情報を含むマルコフ決定課題を用いた長期と短期の報酬予測に伴う脳活動のfMRI測定
- 短期と長期の報酬予測に伴う脳活動のfMRI測定
- 拡張結合混合モデルを用いた脳活動解析
- センサフィードバックを用いたCPG制御における環境ダイナミクスと観測の不確定性の影響
- 線条体における入力タイミングに依存するカルシウム応答モデル
- MOSAICモデルにより環境を抽象化する階層型強化学習(バイオサイバネティックス,ニューロコンピューティング)
- 複数の状態予測と報酬予測モデルによる強化学習と行動目標の推定(バイオサイバネティックス,ニューロコンピューティング)
- 教示者の行動目標を推定する見まね学習
- 教示者の行動目標を推定する見まね学習(PRMU&NCテーマセッション(4) : 模倣学習)(認識と学習,模倣学習)
- 教示者の行動目標を推定する見まね学習(PRMU&NCテーマセッション(4) : 模倣学習)(認識と学習,模倣学習)
- ダイナミクスの線形性に基づいて状態空間を分割する階層型強化学習
- 遅延を伴う確率的報酬獲得課題におけるヒトの意思決定に関する研究(一般セッション3)
- 自然 TD 学習 : 割引報酬における TD 誤差を利用する自然方策勾配に基づいた強化学習法
- 変分法的ベイズ推定を用いた相互情報量の推定
- マルチエージェント環境におけるコミュニケーションの段階的創発(セッション : 社会システムと知能(エージェントモデルと意思決定), 「社会システムにおける知能」及び一般)
- マルチエージェント環境におけるコミュニケーションの段階的創発
- マルチエージェント環境におけるコミュニケーションの段階的創発(社会システムと知能(エージェントモデルと意思決定), 「社会システムにおける知能」及び一般)
- 強化学習エージェントによる協調行動とコミュニケーションの創発(シンポジウム特集)
- 階層型強化学習を用いた3リンク2関節ロボットによる起立運動の獲得
- 強化学習と最適制御(「システム制御理論の新領域特集号」)
- 線条体シナプス可塑性の分子機構のシミュレーション研究(セッション3:『バイオモデリング,シミュレーション』)
- 生化学反応系のためのベイズ的システム同定法(機械学習によるバイオデータマイニング)
- 生化学反応系のためのベイズ的システム同定法(機械学習によるバイオデータマインニング)
- 混合カルマンフィルタによる隠れ状態推定法 : Cyber Rodentの自己位置同定への応用
- Max-Min Actor-Criticによる複数報酬課題の強化学習(人工知能,認知科学)
- 行動学習データの強化学習モデルによる解析とその応用
- 行動学習データの強化学習モデルによる解析とその応用(コミュニケーション支援及び一般)
- 行動学習データの強化学習モデルによる解析とその応用(コミュニケーション支援及び一般)
- 近傍成分分析による行動指向的状態表現の獲得
- 複数の報酬によって与えられる拘束のもとでの強化学習(「機械学習によるバイオデータマインニング」及び「一般」)
- モデル誤差を考慮した強化学習法による実ロボットの適応制御
- 複数の価値関数を用いた多目的強化学習
- 2A1-N-044 構造の異なる複数の学習器の相互作用を利用した強化学習システム(認知ロボティクス1,生活を支援するロボメカ技術のメガインテグレーション)
- 複数制御器の切換学習法による実アクロボットの制御(人工知能)
- 異なった時間遅れを持つ感覚モダリティーを用いた実時間運動学習機構
- 複数報酬のもとでの階層強化学習
- 淡蒼球内節/黒質網様部の強化学習による確率的行動選択(一般)(ニューロインフォーマティックスとは何か)
- 淡蒼球内節/黒質網様部の強化学習による確率的行動選択
- 複数の制御器の系列学習法による非線形制御
- 大脳基底核-強化学習モデルによる線条体神経細胞活動の記録と予測
- 重点サンプリングを用いた複数強化学習器の同時学習
- 行動決定系列からの学習系の内部状態/パラメータ系列の推定
- 複数の状態予測と報酬予測モデルによる強化学習と行動目標の推定
- 強化学習と大脳基底核(運動学習)
- オンラインEM強化学習法を用いた連続システムの自動制御
- オンラインEMアルゴリズムによる強化学習法のacrobot制御への応用
- 連続力学システムに対する強化学習の一手法
- サイバーローデントプロジェクト
- 生物における階層系列学習に関する考察
- 学習ダイナミクスの制御と脳の物質機構(システムと生命総合特集号)
- 意思決定と行動学習の数理モデル (特集 学習と記憶--基礎と臨床)
- オンラインベイズ法によるヒトの指さし運動の解析
- モジュール競合による運動パターンのシンボル化と見まね学習
- 神経スパイク列からのモデルベースシナプス同定法 (ニューロコンピューティング)
- 線形ベルマン方程式に基づくロボット制御 : システム同定と指数価値関数近似
- 神経スパイク列からのモデルベースシナプス同定法(合同企画セッション:バイオデータマイニング,機械学習によるバイオデータマインニング,一般)
- 制限付きボルツマンマシンとエコーステートネットワークによる部分観測マルコフ決定問題の解法(一般講演,機械学習によるバイオデータマインニング,一般)
- 運動-視覚ダイナミクス学習と線形ベルマン方程式によるロボット制御
- 運動-視覚ダイナミクス学習と線形ベルマン方程式によるロボット制御 (ニューロコンピューティング)
- 運動-視覚ダイナミクス学習と線形ベルマン方程式によるロボット制御(一般,機械学習によるバイオデータマインニング,一般)
- 強化学習の最近の発展(第10回)脳の意思決定機構と強化学習