運動-視覚ダイナミクス学習と線形ベルマン方程式によるロボット制御

概要

論文の詳細を見る
近年、Todorov [1] はコスト関数の形式に制限を加え変数変換を行うことで Bellman 方程式を厳密に線形化しする手法を提案した。これにより Bellman 方程式は固有値問題に帰着され解析的に価値関数と最適制御則を導出することが可能となった。連続状態空間において線形化 Bellman 方程式は固有関数を解く問題となるが、既に Todorov により関数近似を用いることで固有関数を導出する手法が示されている [2]。この連続状態空間での非線形最適制御則は、ロボット制御の応用に適したものであるが、システムのダイナミクスが既知と仮定しており、実機においてそれが既知であることは稀である。またポールの振り上げ課題などの低次元の場合についてのみ検証されていた。本研究では、観測と行動の系列から運動視覚ダイナミクスを推定し、得られたダイナミクスに Todorov の手法を適用して最適制御則を獲得する方法を提案し、高次元の状態行動空間をもつ実機に対して適用を行った。タスクとして移動ロボットの視覚にもとづくナビゲーション課題を用いた実験を通して、指数価値関数にもとづく制御において適切な行動が獲得できた。また LQR と同一問題設定のもとでは、価値関数による制御は LQR 以上の性能を得られた。
2012-06-21

運動-視覚ダイナミクス学習と線形ベルマン方程式によるロボット制御

スポンサーリンク

概要

著者

関連論文

スポンサーリンク