変分ベイズ法による自然方策勾配の推定法(一般, 脳・ヒューマンモデリング, 一般)
スポンサーリンク
概要
- 論文の詳細を見る
自然方策勾配法は, 従来の方策勾配法に見られるような, 方策パラメータ空間の構造に依存して生じる学習の停滞を回避し, より効率的に方策を改善する手法として近年注目されている.しかしながら, 従来研究において提案されている最小二乗法に基づく自然方策勾配の推定法では, 現在の方策に基づいて得られたサンプルデータセットが不十分である場合には, 推定される解の一意性が保証されないため, 勾配の推定が困難となる.本報告で提案する変分ベイズ法に基づく自然方策勾配の推定手法では, スパース事前分布を自然方策勾配及び状態価値関数の関数近似重みの事前分布として導入し, その分散パラメータもサンプルデータから同時に推定する.これにより, 推定結果に影響を及ぼさない基底は自動的に淘汰されるため, 最小二乗法では解の推定が困難なサンプルデータセットを用いた場合にも, 可能な範囲での方策勾配及び状態価値関数を推定することができる.簡単な物理系に対して適用し, 従来手法との性能比較を行うことにより, 提案手法の有効性を検証する。
- 社団法人電子情報通信学会の論文
- 2005-10-11
著者
-
佐藤 雅昭
国際電気通信基礎技術研究所脳情報研究所
-
佐藤 雅昭
ATR脳情報研究所
-
松原 崇充
奈良先端科学技術大学院大学
-
森本 淳
ATR脳情報研究所
-
銅谷 賢治
沖縄大学院大学先行研究プロジェクト
-
中西 淳
Atr脳情報研究所:科学技術振興機構icorp
-
中西 淳
Atr脳情報研究所
-
森本 淳
東芝
-
銅谷 賢治
奈良先端科学技術大学院大学:atr脳情報研究所:沖縄新大学院大学先行的研究事業神経計算プロジェクト
-
森本 淳
Atr脳情報研究所ブレインロボットインタフェース研究室
-
森本 淳
(株)東芝
-
佐藤 雅昭
(株)国際電気通信基礎技術研究所 脳情報研究所
-
佐藤 雅昭
Atr脳情報科学研究所
-
松原 崇充
Atr脳情報研究所ブレインロボットインタフェース研究室:奈良先端科学技術大学院大学情報科学研究科
-
松原 崇充
Atr脳情報研究所プレインロボットインタフェース研究室
-
森本 淳
Atr脳情報研究所プレインロボットインタフェース研究室
-
森本 淳
Atr脳情報研
-
佐藤 雅昭
(株)国際電気通信基礎技術研究所 脳情報解析研究所 計算脳イメージング研究室
-
佐藤 雅昭
京都大学医学部呼吸器外科
関連論文
- 脳磁図逆問題における複数のアーチファクト源と脳内電流分布の同時推定法(バイオサイバネティックス,ニューロコンピューティング)
- 階層ベイズ法を用いたNIRS-DOTの逆問題解法とその相図 (ニューロコンピューティング)
- 階層変分ベイズ法によるNIRS-DOTの逆問題解法 (ニューロコンピューティング)
- 複数のノイズ源と大脳皮質の同時電流推定によるMEGアーチファクト除去(一般,機械学習によるバイオデータマインニング・生命現象の非線形性,一般)
- 脳活動から視知覚像を読む(招待講演セッション,手,実・仮想空間の知覚・認知,一般)
- 幻肢痛に対する大脳皮質刺激療法のメカニズム解析
- 多重解像度局所画像復号器の組み合わせによる視覚像の再構成
- 運動タスクを用いた階層ベイズ脳電流源推定法(VBMEG)の比較検証
- fMRI/MEG統合解析による心的な視標運動追跡に関わる皮質電流源の推定(一般,ベイズ情報処理及び一般)
- MEGとEOGを用いた眼球と大脳皮質の同時電流源推定によるMEG眼球アーチファクト除去(一般, 脳・ヒューマンモデリング, 一般)
- 眼球と大脳皮質の同時電流源推定による MEG 眼球アーチファクト除去
- 強化学習を用いたヒューマノイドロボットによる転倒回避ステップ動作の学習
- 刺激に同期及び非同期した脳波成分の抽出手法の一般化
- 階層ベイズ法を用いたNIRS-DOTの逆問題解法とその相図(脳活動の計測と解析,一般)
- 動作認識における床反力情報の推定と見まね学習への適用(バイオサイバネティックス,ニューロコンピューティング)
- 個性を考慮した周期的全身運動の予測(パターン認識)
- 階層変分べイズ法によるNIRS-DOTの逆問題解法
- ブレインコンピュータインタフェースについて(バイオニックヒューマン〜生体機械融合インタフェース〜)
- 変分ベイズ法による自然方策勾配の推定法(一般, 脳・ヒューマンモデリング, 一般)
- 方策こう配法を用いた動的行動則の獲得 : 2足歩行運動への適用(画像認識,コンピュータビジョン)
- 動的行動則を用いた2足歩行の獲得(2足歩行ロボット1)
- 神経振動子ネットワークを用いたリズム運動に対する強化学習法(バイオサイバネティックス,ニューロコンピューティング)
- 方策勾配法を用いた動的行動則の獲得 : 2足歩行運動への適用(「脳・認知科学」及び一般)
- 変分法的ベイズ推定法に基づく正規化ガウス関数ネットワークと階層的モデル選択法
- 連続力学システムの自動制御のためのオンラインEM強化学習法^*
- オンライン変分ベイズ法による部分観測環境の同定と強化学習への応用
- ベイズ的主成分分析の事前分布ハイパーパラメータについて
- MEG脳内電流源の変分ベイズ推定
- MEG電源推定とベイズ推定事前分布
- 変分法的ベイズ推定による混合主成分分析
- 混合主成分分析モデルによる欠測データ予測
- 神経振動子ネットワークを用いた強化学習法による歩行運動の獲得
- 0719 ヒューマノイドとブレイン・マシン・インタフェース(OS41:人間とヒューマノイドの関連を考える)
- 歩行・姿勢リハビリテーションのための空電ハイブリッド式外骨格ロボットの提案
- 正規化ガウス関数ネットワークの変分法的ベイズ学習
- 変分法的オンラインベイズ学習による関数近似
- 統計的手法にもとづく強化学習と制御ルールの獲得
- 正規化ガウス関数ネットワーク, Mixture of expertsとEMアルゴリズム
- オンラインEMアルゴリズムによる動的な関数近似
- オンラインEMアルゴリズムによる動的な関数近似
- 変分法的ベイズ推定を用いた相互情報量の推定
- 考えるだけで機械やロボットを動かす Brain Machine Interface 技術
- 平均報酬の多様体に基づく方策勾配法
- 運動学習プリミティブを用いた2足歩行の学習および適応(2足歩行ロボット1)
- モデルベース強化学習を用いた2足歩行運動の獲得(2足歩行ロボット1)
- 神経振動子を用いた2足歩行運動の実験的検討(2足歩行ロボット1)
- 観測軌道を基にした運動の最適化起立運動, 歩行運動への適用
- [招待論文]観測軌道を基にした運動の最適化 : 起立運動,歩行運動への適用(PRMU&NCテーマセッション(3) : 模倣学習)(認識と学習,模倣学習)
- [招待論文]観測軌道を基にした運動の最適化 : 起立運動,歩行運動への適用(PRMU&NCテーマセッション(3) : 模倣学習)(認識と学習,模倣学習)
- 階層型強化学習を用いた3リンク2関節ロボットによる起立運動の獲得
- 強化学習と最適制御(「システム制御理論の新領域特集号」)
- ロバスト強化学習
- 強化学習を用いた高次元連続状態空間における系列運動学習 : 起き上がり運動の獲得
- 強化学習による起き上がり運動パターンの獲得
- 特集について
- 規範軌道の多様性を考慮した非線形力学系による運動記述の学習法 : ロボットによる見まね学習への応用(IBIS2010(情報論的学習理論ワークショップ))
- オンラインEM強化学習法を用いた連続システムの自動制御
- オンラインEMアルゴリズムによる強化学習法のacrobot制御への応用
- 連続力学システムに対する強化学習の一手法
- オンラインEMアルゴリズムを用いた強化学習法
- 2種の平滑化埋め込みを用いたニューラルネットによるカオス力学系の再構成
- 積分埋め込みを用いたニューラルネットによるカオス力学系の再構成
- オンラインEMアルゴリズムによるカオス力学系の学習と耐ノイズ性
- 正規化ガウス関数ネットワークとEMアルゴリズムによるカオス力学系再構成
- オンラインEMアルゴリズムを用いたカオス力学系の再構成
- ウェーブレット理論の数学的基礎第I部 : 非直交ウェーブレット(<小特集>新しい信号処理の理論とその応用:ウェーブレット解析とその周辺)
- リカレントニューラルネットによる非線形力学系の学習(応用分野における力学系理論の諸問題)
- リカレントニューラルネットによる非線形ダイナミクスの学習(カオスとその周辺,研究会報告)
- オカリナ音の分析合成 -広帯域雑音の周波数構造と聴こえの検討-
- 変分ベイズ法によるMEG電源推定
- オンラインベイズ学習によるモデル選択と動的環境への適応
- ガウス過程法のオンライン学習
- NLP2000-31 / NC2000-25 VB法による混合主成分分析
- NLP2000-31 / NC2000-25 VB法による混合主成分分析
- エアジェット駆動楽器の発音機構について -流体力学的不安定性を考慮した音圧勾配モデル
- 近赤外分光計測における頭皮血流アーチファクト除去法
- 規範軌道の多様性を考慮した非線形力学系による運動記述の学習法 : ロボットによる見まね学習への応用
- 卓球タスクにおけるスイング動作からのスピン関連情報抽出と打球予測への応用(人工知能,データマイニング)
- 状態予測-行動則モジュールデータベースを用いたヒューマン-ロボットインタラクションにおける行動則の適応(ユーザ状態推定,人とエージェントのインタラクション論文)
- 11.確定診断に超音波気管支鏡検査(EBUS)が有用であった悪性腫瘍随伴網膜症の2例(第90回 日本呼吸器内視鏡学会近畿支部会)
- 信号源推定を用いた脳波から筋活動信号の再構築(BCI/BMIとその周辺,一般)
- 階層変分ベイズ推定法(VBMEG)の原理と応用
- モーションタブレット : 次元削減法を利用したヒューマノイド用全身運動合成インタフェース
- Bosonとfermionが結合している系に対する半古典近似法とそのくり込み
- 高次元多重時系列データ解析のための正準多重整列法(時系列解析,統計推理,データベース,一般)
- WS-8-2 肺移植手術手技で一般呼吸器外科手術にいかせるもの : 生体肺葉移植ドナーおよびレシピエントの手術手技を題材に(WS-8 ワークショップ(8)肺移植の手術手技から学ぶ一般呼吸器外科への応用)
- 複数のノイズ源と大脳皮質の同時電流推定によるMEGアーチファクト除去
- 信号源推定を用いた脳波から筋活動信号の再構築
- W2-3 超音波気管支鏡ガイド下生検(EBUS-TBNA)の導入による診断検査手技の変化(EBUS-TBNA,ワークショップ2,第35回日本呼吸器内視鏡学会学術集会)
- 6.触知不能肺癌に対し,気管支鏡下マーキングが有用であった1症例(第92回 日本呼吸器内視鏡学会近畿支部会)
- 13.EBUS-FNAが誘因と考えられる,肺小細胞癌腫瘍壊死の1例(第92回 日本呼吸器内視鏡学会近畿支部会)
- 入出力多様体学習によるシステム同定(情報理論,電子情報通信分野における萌芽的研究論文)
- 1.正中切開+右第3肋間前方開胸と有茎性大綱弁吻合部被覆術を駆使した術前放射線化学療法後の気管・気管支形成術(第93回 日本呼吸器内視鏡学会近畿支部会)
- 時空間整列カーネルによる姿勢変化に頑健なsEMG動作識別(生体工学)
- 近赤外分光計測法と機能的核磁気共鳴画像法を用いた脳血流動態推定
- WS-16-5 我が国における肺移植の現状と課題(WS ワークショップ,第113回日本外科学会定期学術集会)
- PS-144-2 ベッセルシーリングシステムを用いた肺動脈処理の安全性 : 動物生存実験による組織学的検討(PS ポスターセッション,第113回日本外科学会定期学術集会)
- WS-10-4 非小細胞肺癌治癒切除後再発例に対する治療 : 長期生存が期待できる群は?(WS ワークショップ,第113回日本外科学会定期学術集会)
- PD-15-3 肺移植におけるトランスレーショナルリサーチ(PD パネルディスカッション,第113回日本外科学会定期学術集会)
- 高次元多重時系列データ解析のための正準多重整列法