局所線形モデルに基づく状態分割を用いた階層強化学習

概要

論文の詳細を見る
近年、モジュール型のネットワークが注目され強化学習に対してもタスクを分割、統合することによって環境への適応度を高めようとする階層強化学習のアプローチが盛んに行われている。我々はこれまで局所的な予測モデルの競合によってタスクを分割し、それらに対応するコントローラを強化学習によって構成する手法multiple model based reinforcement learning(MMRL)を提案してきた[2]。しかし、従来の手法では各モジュールが学習する局所報酬モデルをもとにした局所最適な評価関数にもとづいて制御を行っており、各モジュール間の遷移により、それらをつなぎ合わせた時に、グローバルに最適な行動が実現されるという保証は無かった。本報告では、各モジュールの評価関数とコントローラを、局所的に得られる報酬のみでなく、遷移した先のモジュールの評価関数も考慮にいれることによってグローバルに最適な評価関数と制御則を学習する手法を提案する。本手法の有効性を確認するために、非線形制御問題であるトルクを制限された単振子の振り上げ問題を取り上げ、計算機実験を行い、従来の非モジュール型の方式より高速かつロバストな学習が可能なことを示す。
2000-03-13