サンプル再利用型強化学習による準受動2足歩行ロボットの学習
スポンサーリンク
概要
- 論文の詳細を見る
近年,エネルギー効率が良く,人の歩容に似ている準受動歩行が注目されている.準受動歩行の制御器の設計は,ロボットの物理パラメータおよびに環境の変化に敏感であるため,制御パラメータの自動調節が望まれる.強化学習は環境に適応するための学習法の1つであり,シミュレーション実験で,準受動歩行に強化学習を適用した研究が知られている.しかし,既存手法を実機のロボットに適用すると,学習速度が遅いためロボットが適切な制御器を獲得する前に故障してしまう可能性がある.本研究では,学習を加速するために,過去の制御器で獲得したサンプルを再利用することが可能なoff-policy Natural Actor-Critic法(off-NAC法)を採用し,準受動歩行の安定した制御器の獲得問題に適用する.本研究では,さらに,学習係数を適応的に調節する手法も提案する.本手法により,シミュレーション実験,実機実験の両方で安定かつ高速に準受動歩行の安定な制御器を獲得することが可能であることを示す.
- 2007-03-07
著者
-
柴田 智広
奈良先端科学技術大学院大学 情報科学研究科
-
石井 信
奈良先端科学技術大学院大学
-
石井 信
京都大学
-
中村 泰
大阪大学大学院工学研究科
-
植野 剛
京都大学大学院情報学研究科
-
田熊 隆史
大阪工業大学 工学部
-
細田 耕
大阪大学大学院工学研究科
-
細田 耕
阪大院
-
植野 剛
奈良先端科学技術大学院大学情報科学研究科
-
田熊 隆史
大阪大学大学院工学研究科
-
柴田 智広
奈良先端科学技術大学院大学
-
中村 泰
大阪大学大学院基礎工学研究科
関連論文
- ヒト皮質脳波からの黙読母音の判別に関する研究 (ニューロコンピューティング)
- 輻輳性眼球運動に基づく直線加速感評価のための複合現実環境の構築
- 混合 von Mises-Fisher 分布の変分ベイズ推定について
- 内部状態を用いた強化学習によるマルチエージェント系における協調行動の獲得(機械学習によるバイオデータマインニング,一般)
- 指数族行列因子化の状態空間モデルへの拡張と時系列関係データ解析への応用
- ヒト皮質脳波からの黙読単語推定に関する研究(BCI/BMIとその周辺)
- 複合現実環境内での輻輳性眼球運動の計測--直線加速感を測る客観指標を求めて
- ドライビングシミュレータにおける傾き-直線運動錯覚(脳活動の計測と解析,一般)
- fMRI/MEG統合解析による心的な視標運動追跡に関わる皮質電流源の推定(一般,ベイズ情報処理及び一般)
- MEGとEOGを用いた眼球と大脳皮質の同時電流源推定によるMEG眼球アーチファクト除去(一般, 脳・ヒューマンモデリング, 一般)
- 眼球と大脳皮質の同時電流源推定による MEG 眼球アーチファクト除去
- 運動する複数物体に対するゴール指向の顕在的注意制御
- POMDP課題遂行中のヒトの情報処理過程の隠れマルコフモデリング(一般)
- 階層的パーティクルフィルタのための適応的サンプリング分布推定とその剛体の実時間姿勢推定への応用
- 移動ロボットにおける環境同定のための統計的アプローチ
- 同時発音の相関を考慮した確率モデルによる音楽の和声推定
- エピソードタスクにおける方策オフ型LSTD(λ)法とその収束性(機械学習によるバイオデータマインニング,一般)
- 線スペクトル対を用いた楽器分類
- 隠れマルコフ/セミマルコフモデルに基づき原信号を動的に切り替える非定常独立成分分析
- スムースギャップ事前分布をもちいた超解像
- Bayesian noisy ICA for source switching environments
- 価値関数の分解による高速な強化学習法
- 非線形ノイズ付き独立成分分析
- 学習によるproduct codeの設計(情報理論)
- ヒト円滑性追跡眼球運動における非周期視標運動の予測と学習(「脳・認知科学」及び一般)
- NC2000-50 サポートベクターマシンによるminimax戦略の獲得
- アレイ比較ゲノムデータ正規化手法Combfitについて(セッション1:『機械学習によるバイオデータマインニング』)
- ハイブリット型学習による隠れ素子付き連想記憶モデル
- Poisson過程に従うスパイク列に対するスパイキングニューロンモデルの応答
- 自己回帰モデルを用いた脳波・筋電信号ネットワークの同定
- 動作パターンとシンボルを相互変換する原始シンボル空間における動作パターンの内挿・外挿
- 社会的知能発生学における構成論的シミュレーションの役割と SIGVerse の開発
- CPG-Actor-Critic法によるミミズ型ロボットの推進運動の獲得
- ADS-1-5 長期の動線データを用いた集団活動の特徴抽出(ADS-1.信号処理のための機械学習,シンポジウムセッション)
- ADS-1-5 長期の動線データを用いた集団活動の特徴抽出(ADS-1. 信号処理のための機械学習,シンポジウムセッション)
- 脳神経系研究のためのヒューマノイドロボット(ヒューマノイドロボット)
- ブレーキ時系列モデリングによるドライバの運転状況推定(脳活動の計測と解析,生命現象の非線形性,一般)
- 空間的注意の広がりとしての同オブジェクト効果の解釈(脳活動の計測と解析,生命現象の非線形性,一般)
- ADS-1-6 漫然運転防止のためのドライバのブレーキ予測(ADS-1.信号処理のための機械学習,シンポジウムセッション)
- ADS-1-4 ユーザーの生体情報を用いたロボットとの力覚的協調の強化学習(ADS-1.信号処理のための機械学習,シンポジウムセッション)
- 方策勾配法によるCPGに基づいたエネルギー効率の良い二足歩行の学習
- ADS-1-4 ユーザーの生体情報を用いたロボットとの力覚的協調の強化学習(ADS-1. 信号処理のための機械学習,シンポジウムセッション)
- ADS-1-6 漫然運転防止のためのドライバのブレーキ予測(ADS-1. 信号処理のための機械学習,シンポジウムセッション)
- D-2-5 競争パラダイムにおける物体注意切り替え(D-2. ニューロコンピューティング,一般セッション)
- ヒト皮質脳波からの黙読母音の判別に関する研究(脳活動の計測と解析,一般)
- 自発発火活動の時間相関による遅延活動期間の情報保持性能の潜在的表現(脳活動の計測と解析,一般)
- ブレーキ時系列モデリングによるドライバの運転状況推定(脳活動の計測と解析,生命現象の非線形性,一般)
- 確率的逐次因子分解による単眼画像時系列からの三次元構造復元(ベイズ情報処理,ベイズ情報処理及び一般)
- 適応的サンプリングによる階層モデル化された対象の効率的状態推定
- パーティクルフィルタの切り替えによる頑健な実時間物体追跡 (特集1 アドバンスド画像処理アルゴリズム)
- 筋電信号に基づいた示指によるピアノ打鍵時の脱力度評価
- 空間的注意の広がりとしての同オブジェクト効果の解釈(脳活動の計測と解析,生命現象の非線形性,一般)
- 2ニューロン系の多変量ARモデルに基づいた相互作用系解析
- ヒト大脳皮質における円滑性追跡眼球運動のための視標運動予測に関連する領域の機能的同定
- MST野細胞集団の巡回神経結合に基づく円滑性追跡眼球運動モデル
- 円滑性追跡眼球運動のモデル : ヒューマノイド研究から脳科学へ
- ポピュレーション符号から発火率符号への学習による変換 : 円滑性追跡眼球運動の神経表現
- MST野の細胞集団ダイナミクスを含む円滑性追跡眼球運動モデルとその計算理論
- ベイズフィルタによる円滑性追跡眼球運動のモデル化
- プロジェクトの概要とロボット研究
- ポピュレーション符号から発火率符号への学習による変換 : 円滑性追跡眼球運動の神経表現
- MST野のポピュレーション符号化と神経場モデルによる, 円滑性追跡眼球運動のシミュレーション
- 視覚ターゲットのダイナミクス学習に基づく円滑性追跡眼球運動とそのヒューマノイドへの実装
- ユーザーの生体信号計測に基づいたロボットとの動的・協調的インタラクション(生体信号の計測と解析,一般)
- 円滑性追跡眼球運動のモデル : MSTd-MSTl 回路網による適応的視標運動予測
- マルチエージェント環境におけるコミュニケーションの段階的創発(セッション : 社会システムと知能(エージェントモデルと意思決定), 「社会システムにおける知能」及び一般)
- マルチエージェント環境におけるコミュニケーションの段階的創発
- マルチエージェント環境におけるコミュニケーションの段階的創発(社会システムと知能(エージェントモデルと意思決定), 「社会システムにおける知能」及び一般)
- NIRSを用いた基礎的なドラム演奏時における熟達者-非熟達者間の脳活動比較(BCI/BMIその周辺,一般)
- 脳波信号からの直感発生検出に関するBCI研究(BCI/BMIその周辺,一般)
- サンプル再利用型強化学習による準受動2足歩行ロボットの学習
- 方策勾配法による準受動歩行制御の学習
- 多層パーセプトロンによるパターン識別に適した特徴抽出器の再学習
- 非周期的視標時系列に対するヒトの予測性能(一般,ベイズ情報処理及び一般)
- ヒト視覚における非周期的時系列の予測に関する研究(脳・ヒューマンモデリング1, 脳・ヒューマンモデリング, 一般)
- 2A1-N-065 ユーザーのEMG・姿勢情報を用いたロボットの拡張感覚システムの開発(人間機械協調3,生活を支援するロボメカ技術のメガインテグレーション)
- D-8-15 ランドマークの大きざを考慮した視覚移動ロボットのためのベイズ経路計画法(D-8.人工知能と知識処理,一般セッション)
- ダンシングRoomba〜踊る掃除制御〜
- D-2-4 表情識別時と個体識別時の眼球運動の差異(D-2.ニューロコンピューティング,一般セッション)
- D-12-45 ロボットによる道具身体化モデル(D-12.パターン認識・メディア理解,一般セッション)
- 2A2-C22 社会的インタラクションを実装可能なシミュレータープラットフォーム : SIGVerse:社会的知能発生シミュレータ
- ダンシングRoomba : 踊る掃除制御(ロボティックス,エンタテインメントのためのメディアとリアリティ)
- 運転状況を推定し学習データを選択する適応的ブレーキ警報システム
- パーキンソン病の脳深部刺激における前頭葉の脳波解析
- 指さし制御でルンバを自由に制御する Kinectとフリーなライブラリによるルンバの制御と2Dゲームの製作 (特集 理論と評価手法からQtのGUI構築とKinectゲームまでが分かる ユーザ・インターフェースの基本原則と実践開発)
- 着衣支援ロボット : 着衣状態の計測・評価技術と支援動作学習への応用 (特集 ロボットビジョン : 高度な視覚機能に迫る)
- 機械学習を用いた屋外カメラによる駐車場監視システムの開発 (メディア工学 ヒューマンインフォメーション 映像表現&コンピュータグラフィックス)
- 世界初! 着衣介護ロボット : 超高齢社会のロボット介護ヘルパーを目指して
- Difference Between Experts and Non-experts in Gaze Patterns During Preference Judgment of Abstract Paintings (ニューロコンピューティング)
- 機械学習を用いた屋外カメラによる駐車場監視システムの開発(ITS画像処理,映像メディア,視覚及び一般)
- 機械学習を用いた屋外カメラによる駐車場監視システムの開発(ITS画像処理,映像メディア,視覚及び一般)
- 運転状況を推定し学習データを選択する適応的ブレーキ警報システム
- 赤外線パターン投射式深度センサの光学系調整
- 言語野における音読と黙読の類似性について (ニューロコンピューティング)
- 抽象画嗜好判断時における熟達者・非熟達者の視点分布の相違
- 言語野における音読と黙読の類似性について(BCI/BMIとその周辺,一般)
- NIRSを用いた基礎的なドラム演奏の熟達に伴う皮質活動変化の調査
- 運転行動予測に向けた運転操作時系列データへのノンパラメトリックベイズ法の適用(ネットワークプロセッサ,通信のための信号処理,無線LAN/PAN,一般)
- 運転行動予測に向けた運転操作時系列データへのノンパラメトリックベイズ法の適用(ネットワークプロセッサ,通信のための信号処理,無線LAN/PAN,一般)
- 運転行動予測に向けた運転操作時系列データへのノンパラメトリックベイズ法の適用(ネットワークプロセッサ,通信のための信号処理,無線LAN/PAN,一般)