TD(λ)学習を用いたMs. Pac-Man AIのモンテカルロ木探索の改善
スポンサーリンク
概要
- 論文の詳細を見る
ルールの単純さと難易度の高さから,Ms. Pac-ManがデジタルゲームAIの研究対象として注目を集めている.Ms. Pac-Manプレイヤでは,ルールベースを用いたプレイヤよりモンテカルロ木探索,特にUCT (Upper Confidence Bounds applied to Trees)を用いたプレイヤが優秀な成績を収めている.本研究ではTD(λ)法で学習した評価関数を用いたUCTの改善について提案する.UCTにおける評価関数の利用には,Progressive biasを用いた.Progressive biasではUCTの序盤の展開を評価関数に従うようにして有利な局面の探索を増やす.評価実験ではシミュレータ上で既存手法のUCTを大幅に上回る得点を獲得した.
- 2013-02-25
著者
-
近山 隆
東京大学大学院工学系研究科
-
近山 隆
日本ソフトウェア技術会
-
近山 隆
東大
-
近山 隆
新世代コンピュータ技術開発機構
-
三輪 誠
東京大学大学院情報理工学研究科
-
三輪 誠
埼玉県環境科学国際セ
-
三輪 誠
内燃機関研究会:富士重工業会社
-
三輪 誠
東京大学大学院工学系研究科
-
近山 隆
東京大学大学院 工学系研究科
-
三輪 誠
マンチェスター大学コンピュータ科学科
-
鶴岡 慶雅
北陸先端科学技術大学院大
-
鶴岡 慶雅
東京大学工学系研究科
-
鶴岡 慶雅
科学技術振興事業団
-
鶴岡 慶雅
東京大学大学院工学系研究科
-
燧 暁彦
東京大学工学部電子情報工学科
-
近山 隆
東京大学大学工学系研究科
関連論文
- コンピュータゲームプレイヤにおける評価要素の自動生成に関する研究(評価関数,ゲームプログラミング)
- Bouzy's 5/21 algorithmを用いたDf-pn+探索の詰碁への適用
- GAとTD(λ)学習の組み合わせによるゲーム局面評価パラメータの調整(学習1)
- ドラム演奏のグルーヴ感の解析
- webページ中の単語の使用頻度とPageRank値との関係解析(言語モデル・ウェブ解析)
- 対訳辞書のグラフ表現を用いた日英対訳テキストの発見(文書処理,質問応答)
- 日本の風土と21世紀のソフトウェア
- オブジェクト指向計算特集の編集にあたって
- パネル討論会 : Adaとどうつきあうか : 昭和56年後期第23回全国大会報告
- 計算機上で処理を受ける対象の意味づけを保存する場合の処理のモデル化の試案
- 素性にモーラとシラブルを用いた略語の自動推定(言い換え・略語・要約)
- 並列処理のための効率的なトポロジ推定(HPC-10 : 適応環境での通信)
- グリッドチャレンジテストベッドの構築と運用 : グリチャレテストベッドの作り方(HPC-3 : 大規模運用システム(1))
- SIMPOSのプログラミング環境 : コンパイラの拡張機能
- 情報爆発時代における安全・安心ITシステム基盤(情報爆発時代に向けた新しいIT基盤技術の研究)
- 情報爆発時代における安全・安心ITシステム基盤
- DMI:計算資源の動的な参加/脱退をサポートする大規模分散共有メモリインタフェース
- 並列推論マシンPIM/pの要素プロセッサにおける分岐機能の高速化のためのアーキテクチャ
- マルチPSI重要素プロセッサPSI-IIの最適化手法
- 利用者インタフェースレベルでの理解が可能な処理モデルの構築法
- Utilispシステムの開発
- 確率単純文法のサブクラスにおける一般化と強化学習への応用(計算理論とアルゴリズムの新展開)
- 高いヒープ使用率の下で高速なインクリメンタルGC
- 4T-4 グラフィックエンジンを用いたゲーム探索の高速化(ゲーム,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 6ZA-2 XQueryを用いたプログラマブルかつ軽量な大規模分散環境におけるモニタリングフレームワーク(システム蓮用・管理(2),学生セッション,ネットワーク,情報処理学会創立50周年記念)
- 低負荷で多数の計算機をリアルタイムに監視するシステムVGXPの実装(大規模システム,SWoPP2006)
- 並列推論マシンPIM/pの要素プロセッサのアーキテクチャ
- 6ZA-8 広域環境におけるRTTを用いたネットワークトポロジー推定(システム蓮用・管理(2),学生セッション,ネットワーク,情報処理学会創立50周年記念)
- 5W-9 計算機トラブルシュートドメインにおける固有表現抽出(言語情報抽出,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 4T-2 学習を用いた枝刈の新手法の提案(ゲーム,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 3L-2 NUMAにおけるメモリローカリティと負荷分散を同時に考慮した並列GCのシミュレーションによる性能評価(分散・並列OS,学生セッション,アーキテクチャ,情報処理学会創立50周年記念)
- 表現の変換という視点からの計算機上の処理のモデル化
- 多クラスSupport Vector Machineを用いた一般物体認識での複数候補提示下における分類性能の傾向(一般セッション5,アンビエント環境知能)
- 多クラスSupport Vector Machineを用いた一般物体認識での複数候補提示下における分類性能の傾向(一般セッション5,アンビエント環境知能)
- 多クラスSupport Vector Machineを用いた一般物体認識での複数候補提示下における分類性能の傾向(一般セッション5)
- 分散計算機環境における異常動作の原因の特定手法(耐エラー技術,SWoPP佐賀2008-2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ)
- ネットワークトポロジーを考慮した効率的なバンド幅推定手法(HPC-11:通信,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 自動取得したネットワーク構成情報に基づくMPI集合通信(HPC-1:MPI,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 6W-2 画像群中の物品発見における計算量削減手法の提案(画像データベース,学生セッション,人工知能と認知科学)
- 4U-5 Webフォーラムの構文情報を用いたトラブルシュート文書抽出(文書の分類と検索,学生セッション,人工知能と認知科学)
- 2U-3 UCTを用いた訓練初期局面の多様化によるTD学習法の改善(ゲーム・知識ベース,学生セッション,人工知能と認知科学)
- 2D-2 並列論理型言語処理系KLICの通信タイミング最適化
- 並列論理型言語KL1の静的解析について
- 研究の世界に飛び込んで(平成18年度論文賞の受賞論文紹介)
- Processor Element Architecture for a Parallel Inference Machine, PIM/p
- 多拠点に渡る分散計算機環境を効率的にモニタリングするための情報収集と表示(管理機構)
- 論理式の充足可能性問題における変数の依存関係に基づく効率的な変数決定順序(HPC-5: 数値計算アルゴリズム(2))
- 論理式の充足可能性問題の並列化におけるClause共有の効果について(CPSY-2 並列分散プログラミング)(2004年並列/分散/協調処理に関する「青森」サマーワークショップ(SWoPP青森2004))
- 耐故障並列計算を支援する自律的な故障検知機構(高信頼)
- 複数サブネット環境における自律的な故障検知機構(OS-4: 通信システム, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- Phoenixプログラミングモデルにおける故障検知ライブラリ(HPC-11 : グリッド(3))(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- ハッシングに基づく大規模探索問題の耐故障分散処理手法
- 分散ハッシュ表に基づく大規模探索問題の耐故障並列化手法
- アクセス計算量 : 新しい並列計算量の枠組みの提案(プログラミングモデル・ツール)
- 高度な問題領域依存チューニングを許す並列組合せ最適化ライブラリPopKern
- 並列論理型言語処理系KLICのための動的負荷分散機構
- ベイズ統計の手法を利用した決定リストのルール信頼度推定法
- ベイズ推定による決定リストのルール信頼度推定法
- ベイズ推定による決定リストのルール信頼度推定法
- 1E-1 単語多義性解消における漸進的なコーパス自動タグ付け
- 事例に基づく動詞多義性解消手法の精度向上
- 1X-1 素性にモーラとシラブルを用いた略語の自動推定(意味・談話解析,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 1T-1 機械学習を用いた楽曲の分類 : 音高に着目したテンポ変化に強い特徴抽出(音楽分析・生成,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 3ZL-2 ネットワークトポロジを考慮したバンド幅推定の高速化手法(情報爆発時代における安全,安心ネットワーク技術,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- トポロジを考慮しソース選択を行うデータ転送スケジューラ
- マイグレーションを支援する分散集合オブジェクト
- D-5-4 ベイズ理論を用いた個人の興味・嗜好を反映するニュース・ウェブログ閲覧システム(D-5. 言語理解とコミュニケーション, 情報・システム1)
- 逐次言語との複合プログラミングを行うデータフロー並列処理言語の実現
- 5L-3 通信負荷を考慮したモデルにもとづく動的負荷分散機構
- 3ZL-1 自動取得したネットワーク構成情報に基づくMPI集合通信アルゴリズムの改良(情報爆発時代における安全,安心ネットワーク技術,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 6ZJ-1 並列分散システムにおける異常動作の原因特定のためのログ解析(情報爆発時代における並列分散処理技術,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 動的にチャネルが増減する環境下での分散スナップショットアルゴリズム
- A Low-stretch Object Migration Scheme for Wide-area Environments
- ウェブコミュニティ抽出アルゴリズムの改良
- 渕一博氏を悼む
- MPI/GXP : 広域環境用の適応的なメッセージパッシングシステム(HPC-2 : 通信方式)
- 適応スパニングツリーを用いた広域メッセージパッシングシステム用の集合通信(ネットワーク)
- 広域メッセージパッシングシステム用の遅延を考慮した接続管理(HPC-10: 通信ライブラリ)
- Phoenixプログラミングモデル用の集団通信(HPC-11 : グリッド(3))(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- Collective Operations for the Phoenix Programming Model (2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004)--研究会・連続同時開催)
- インクリメンタルPageRankによる重要Webページの効率的な収集戦略(WWW)
- LRCによる多重参照管理方式
- 動的VLIW変換アーキテクチャの提案
- 属性記述に基づく計算機上の対象識別のための意味づけと構文化・形式変換
- 多様な視点に基づく属性を用いた計算機中の対象同定法
- 適応的並列計算を支援するプロトコルの設計と正当性の証明(HPC-10 : 適応環境での通信)
- 世代GC方式におけるキャッシュを意識した殿堂入り時期調節手法の提案
- 効率のモデルに基づきヒープサイズを自動調節する世代GC方式
- 4N-1 並列論理型言語処理系 KLICへの世代GC方式の導入
- ゲーム構成要素を組み合わせた特徴の最適化
- 実行時依存解析に基づく半自動並列化の効率的実装
- 平成16年度功労賞授賞およびフェロー称号の授与について
- シミュレーション・バランシングを用いたモンテカルロ将棋の方策学習
- GGPにおける強さとバランスを両立したモンテカルロ木探索の方策の学習
- TD(λ)学習を用いたMs. Pac-Man AIのモンテカルロ木探索の改善
- 表現,意味,言語に基づく処理モデルの提案
- 分散計算環境における並列パーセプトロンの将棋評価関数への適用
- イラストの作者同定アルゴリズムの提案
- 再帰的に生成したタスクに対するデータ局所性を考慮するスケジューラの実装と評価
- 大域アドレス空間におけるGCとリージョンによるメモリ管理