予測ベース強化学習に基づくゲーム学習の加速 : プランニング行動の発生に向けて(<オーガナイズドセッション>心理実験データに基づく視覚過程の分析とモデル化)

概要

論文の詳細を見る
人間がある問題を解決する際に、現在直面している状態のみを考慮して、取るべき行動を決定しているとは考えにくい。人間は、様々な過去の経験を利用することで、未来の状態を予測し、その予測状態と現在状態に基づき行動決定をしているように思われる。この戦略は、従来の伝統的な強化学習によるState→Actionモデルでは、説明することが困難である。そこで本研究では、予測に基づく強化学習方式(PRLmodel)を提案する.PRLmodelは、状態予測モジュールと手段記憶モジュールを、強化学習の一種であるactor-critic手法に追加したものである。このシステムは、状態予測モジュールを用いることで得られる予測状態を、強化学習のcriticが持つ価値テーブルに基づいて評価し、行動決定に使用する予測ボイントを決定する。そして、その予測状態に基づき、手段記憶モジュールを用いて行動を決定する。私たちは、提案モデルを評価するために、単純なゲームを用いて、シミュレーションを行った。
2003-01-27