方策勾配法による局面評価関数とシミュレーション方策の学習
スポンサーリンク
概要
- 論文の詳細を見る
本論文では強化学習の一手法である方策勾配法をコンピュータ将棋に適用する方法を考察した.方策勾配法は,報酬や方策にマルコフ性の制限なく自由に設計することができるという大きなメリットがある.本論文では,最初に全 leaf 局面の局面評価値をその局面への遷移確率値で重み付けた期待値を用いた指し手評価方式を提案する.これをベースに,探索木の各ノードにおける指し手の選択法として Boltzmann 分布に基づくソフトマックス戦略を採用した場合の局面評価関数に含まれるパラメータの学習則を導出した.しかし,探索や学習時の計算量が膨大となるため,3 つの近似計算法を考案した.次に,探索時にシミュレーション方策を用いてモンテカルロ探索を行う場合や,探索の深さを制御する場合のために,局面評価関数とシミュレーション方策の両者を同時に学習する学習則を方策勾配法により導出した.さらに,この方策勾配の計算法を利用すると,局面ごとに正解手が既知の場合の教師付学習も可能であることを示し,実際に学習則を導出した.
- 2013-06-21
著者
関連論文
- 非マルコフ決定過程における強化学習 : 特徴的適正度の統計的性質(モデル/理論,ソフトウェアエージェントとその応用論文)
- 非マルコフ決定過程における方策勾配法の一考察 : カーリングの事例
- 1D-6 方策勾配法を用いたサッカーエージェントの学習 : パス・レシーブ(ゲーム・ロボカップ,一般セッション,人工知能と認知科学)
- 2P1-S-022 方策勾配法を用いたフリーキック時の行動学習(ロボカップ2,生活を支援するロボメカ技術のメガインテグレーション)
- 1A1-N-028 方策勾配法を用いた運動方程式中のパラメータ学習 : 2ストーン系のカーリングゲーム(マルチエージェントロボットシステム,生活を支援するロボメカ技術のメガインテグレーション)
- 離散最適化問題としての自律移動型ロボットの走行誘導
- 方策こう配法を用いた行動学習 : 環境のダイナミクスと行動知識との分離
- マルチエージェント系における行動学習への方策こう配法の適用 : 追跡問題(分散協調とエージェント)
- マルチエージェント系における方策勾配法 : 追跡問題
- マルチエージェント系における方策勾配法 : 追跡問題
- 強化学習を用いた自律移動型ロボットの行動計画法の提案
- 方策勾配法における目的関数の合成と追跡問題への適用 (テーマ:知能・適応と社会,ネットワーク) -- (マルチエージェントシステム)
- F_004 方策こう配法を用いた行動学習 : 方策中での状態遷移確率の表現(F分野:人工知能・ゲーム)
- 入力パターンベクトルの分布に基づくクラス分類問題の分割法
- 方策勾配法を用いた自律移動型ロボットの行動計画法
- ノードコストを考慮した最短経路探索法とデータ構造
- ノードコストを考慮した最短経路探索法とデータ構造
- 離散最適化問題としての自律移動型ロボットの経路計画
- 状態の複数の抽象化による方策こう配法の高速化--トンネル状の障害物が存在する追跡問題への適用
- 状態の複数の抽象化による方策こう配法の高速化 : トンネル状の障害物が存在する追跡問題への適用(情報ネットワーク)
- マルチエージェントシステムにおける行動制御 : PSOにおける重み係数の強化学習(情報ネットワーク)
- ファジィ制御ルールにより表現された方策を持つ方策勾配法の導出
- 方策勾配法による局面評価関数とシミュレーション方策の学習
- D-8-4 ファジィ制御ルールにより表現された方策を持つ方策勾配法の適用事例:RoboCup小型リーグ(D-8.人工知能と知識処理)
- D-8-3 RoboCupサッカーシミュレーションリーグ2Dにおけるリターンパス:chain_action上の状態予測(D-8.人工知能と知識処理)