GAにより探索空間の動的生成を行うQ学習

概要

論文の詳細を見る
強化学習は学習に際し予備知識を必要とせず, 高い環境適応性をもつといった特徴がある.しかし, 学習速度や行為・状態空間の大きさの制約などの問題により複雑な実ロボットヘの適用は困難であり, 特に, 多自由度を有するロボットヘの適用例は少ない.これらの問題をふまえ, 本論文では, 強化学習の新しいアルゴリズムとして, Q-Learning with Dynamic Structuring of Exploration Space Based on Genetic Algorithmを提案する.提案手法では, 探索空間の部分集合に対しQ学習を行うことで, 組合せ爆発による探索空間の増加を回避し, 探索空間の部分集合をGAにより更新することで, 大域的な探索を可能としている.提案手法の有用性を示すため, 50リンクからなる超冗長マニピュレータの障害物回避問題を取り上げ, シミュレーションにより学習を行い, 有効な政策が獲得されることを確認した.また, 計算時間, 環境変化に対する頑強性についても良好な結果を得た.
2001-11-01