Shaping 強化学習を用いた自律エージェントの行動獲得支援手法

概要

論文の詳細を見る
一般に，自律エージェントや自律移動ロボットに効率的な行動学習をさせるためには動物の学習メカニズムから工学的応用を行なうことは有効な手法であることが知られている．中でも，動物行動学，行動分析学や動物のトレーニング（調教）などで広く用いられている「Shaping」という概念が最近注目されている．Shapingは学習者が容易に実行できる行動から複雑な行動へと段階的，誘導的に強化信号を与え，次第に希望の行動系列を形成する概念である．本研究では繰り返し探索により自律的に目標行動を獲得できる強化学習にShapingの概念を取り入れたShaping強化学習を提案する．有効なShaping効果を検証するために強化学習の代表的なQ-Learning，Profit Sharing，Actor-Criticの３手法を用いた異なるShaping強化学習を提案し，グリッド探索問題のシミュレータを用いて比較実験を行なった．さらに，実際の動物などの調教の場などで知られている段階を追って行動を強化する「分化強化」という概念をShaping強化学習に取り入れた分化強化型Shaping Q-Learning（DR-SQL）を提案し，シミュレーション実験により手法の有効性が確認された．
2009-10-15