TD(λ,μ) : 未来の観測状態を考慮したTD法
スポンサーリンク
概要
- 論文の詳細を見る
過去の経験から将来の振舞いの予言を学習する問題を、予言学習問題という。例えば、将棋のある局面が経験から勝ちに結びつくかどうかの予言を学習するなどである。TD(Temporal Differential: 時間的差分)法はSamuelのチェッカープログラムに始まるマルチステップ予言学習問題に対する学習アルゴリズムである。Suttonは過去の観測状態を考慮するTD(λ)法を提案し、それが従来行われていた観測状態と最終結果のみからの学習法よりも効率がよいことを示した。我々は過去と未来の両方の観測状態を考慮したTD(λ,μ)法を提案した[13]。TD(λ,μ)法は過去と未来の両方の観測状態を考慮して学習を行うため、TD(λ)法よりも効率が良いことが期待される。先の発表では"3×4の世界"を使って、LMS法、TD(λ)法、TD(λ,μ)法の比較実験を行ったが、大きな差は見られなかった。これは"4×3の世界"が非常に単純な環境であることによる。本稿では、将棋というより複雑な環境下でこれらの学習アルゴリズムを使って学習実験を行った。学習で得られた駒価値を使った対戦実験の結果、TD(λ,μ)法は、LMS法、TD(λ)法の中で最も高い勝率を上げた。
- 社団法人情報処理学会の論文
- 2000-10-26
著者
-
小谷 善行
東京農工大学共生科学技術研究院先端情報科学部門
-
乾 伸雄
東京農工大学 共生科学技術研究部 システム情報科学部門
-
鈴木 豪
東京農工大学
-
乾 伸雄
東京農工大学
-
乾 信雄
東京農工大学大学院共生科学技術研究部
-
小谷 善行
東京農工大
関連論文
- 系列パターンを利用した決定木による自然言語における選択ルール獲得(学習・系列解析・構文解析)
- SVMを用いたリズム感のモデル化とドラムパターンの自動生成(音楽生成)
- 枝分かれ同時確率モデルを用いた「AのB」の意味分類(語彙・意味)
- すご@ぷろ : 双六をモチーフとしたビジュアルプログラミング言語
- 対話システムにおける顔文字の学習
- 特許明細書における多項請求項の自動構造化に関する研究(解析,分析)
- 構造解析を利用した機械学習による演奏表情の解析と付与(表情付け・分析)
- 枝分かれ同時確率モデルを用いた対象-属性-属性値関係の抽出(翻訳・要約・抽出)
- HMMとテキスト分類器による対話の段落分割
- 発話を出力単位とするHMMによる対話に対する話題分割
- 発話を出力単位とするHMMによる対話に対する話題分割(対話)
- 枝分かれ構造を持つ同時確率モデルによる形態素解析
- 枝分かれモデルによるbi-gramからのtri-gram推定を用いたHMM形態素解析システム
- 枝分かれ構造をもつ同時確率モデルによる形態素解析
- GMDHニューラルネットワークを利用した自然言語の区切り位置予測の研究
- 単語長を考慮した最長しりとり問題の実験的考察
- 単語間情報とランダム性を利用した創造性を有する概念ネットワークの自動生成(概念・連想)
- 単語間情報とランダム性を利用した創造性を有する概念ネットワークの自動生成
- 文字数最大しりとり問題の解法
- 単語の結束度と文の表層情報を組み合わせたテキストセグメンテーション(セグメンテーション・要約)
- 相互情報量を用いた話題語集合による対話の応答選択(対話)
- 最大長しりとり問題の解法
- 言語クラスEMGを用いた不完全なシーケンスからの構造推定手法
- MTD(f)の改良と評価
- 「名詞と表層格」パターンに対する深層格対応の推測
- 隠れマルコフモデルを用いた曲構造を持つ音符列の生成
- 音楽記述文法EMGによる楽曲受理処理系の試作(セッション7 : モデルと文法)
- Hexゲームを解く
- パターンを使った構文解析
- 品詞列に基づく構文解析
- 発話の働きとキーワードから応答生成を行う事例ベース自由対話系
- 文節区切りのための品詞列統計情報の調査
- 将棋におけるDual Credit探索
- 将棋におけるプロの指し手とそれ以外の手の判別分析
- 対戦相手に合わせた評価関数の学習システム
- プロの棋譜を用いたTD法による将棋の評価関数の学習
- TD(λ,μ) : 未来の観測状態を考慮したTD法
- 未来の観測状態を考慮したTD法について
- 将棋プログラムにおける指し手の種類別探索深さの調整
- 将棋におけるゲーム木探索アルゴリズムの比較
- 1N-4 将棋におけるcost functionを用いた評価関数の調整
- 日本語アクセントの認識実験とメロディー自動生成
- 日本語アクセント生成システム
- 決定木学習による代名詞「自分」の照応解析(解析・言語資源)
- 5U-4 決定木学習を用いた人名情報抽出のための規則生成(情報抽出,学生セッション,人工知能と認知科学)
- 決定木を用いた中国語の疑問文の訳語選択ルールの生成(翻訳・多言語化)
- ニューラルネットワークを用いたコーパスからの共起強度の抽出
- コード進行と転回形の推移特徴に基づく伴奏生成
- メロディーに関連づけたアドリブの生成
- 線形言語のある部分言語族に対する質問を用いた確率的近似学習
- 先読みを教師とした兄弟局面の比較に基づく評価関数の学習(学習2 並列探索)
- 評価関数の強化学習における学習高速化手法(学習2 並列探索)
- 並列局面探索における待ち行列の負荷分散(学習2 並列探索)
- UCTアルゴリズムにおける確率的な試行回数削減方法
- 異なるレーティング・データの接合とコンピュータ将棋の強さ予測
- 5X-4 隠れマルコフモデルを用いた変奏の伴う楽曲の自動生成(音楽情報科学(4)表情付け・認知,学生セッション,人工知能と認知科学)
- モンテカルロシミュレーションを用いた強化学習法の提案
- 状態をもった内部表現でプログラムを保持するプログラミング教育環境の有効性の検討(情報教育/一般)
- コンピュータ将棋(思考ゲーム)
- ナップザック問題における解法拡張可能性の分析
- 枝分かれ同時確率モデルを用いた対象-属性-属性値関係の抽出(翻訳・要約・抽出)
- 枝分かれ同時確率モデルを用いた「AのB」の意味分類(語彙・意味)
- 決定木を用いた敬語の選択ルールの獲得
- 構造解析を利用した機械学習による演奏表情の解析と付与(表情付け・分析)
- 曲の構造情報から表情付けを行う自動演奏
- 曲構造とメロディーのリズム解析による自動編曲
- 自動作曲システムにおけるリズムの生成法
- 曲構造中のモチーフ変形パターンに注目した自動作曲
- 1. コンピュータ将棋の歴史的瞬間 : プロ棋士に角落ちで勝利 : ついにプロの強さが射程範囲に(コンピュータが将棋を制する日)
- 飛車落ちのプロに勝ったコンピュータ将棋
- 6合目まできたコンピュータ将棋の実力
- 小中学校における情報教育向け電子教材開発環境の提案
- 高等学校教科「情報」向け電子教材の設計
- 5X-6 情報教育のための教育基本ソフトウェア・電子教材・教育支援プロジェクト
- Nested Monte-Carlo探索のAMAFを用いた探索数調整による改良
- 虫食い算の非探索的解決と問題作成への応用
- 押し相撲ゲームの分析と創造性教育への応用
- コンピュータ将棋の実力とその将来予測
- Dodgemゲームのレトログレード解析による解明
- ゲーム情報学の教育における意義 : 「情報技術が教育をどう変えるか?」へのゲームのかかわり
- 情報処理専門教育について : 情報処理専門教育の一実例 : 大学における情報工学教育の理念と実現
- 情報工学系学科における実験・演習の一設計例
- 音高と音価の隠れマルコフモデルを用いた自動副旋律生成
- HMM とテキスト分類器による対話の段落分割
- 囲碁におけるシミュレーション結果の継承を用いたモンテカルロ法の改良
- 溢れ碁ルールの提案とそれを用いた囲碁の小路盤探索
- コンピュータブロックスデュオ大会報告 (2007年10月,2008年10月)
- 図形合同分割パズルの自動生成(Session 2)
- 最長しりとり問題の解法
- 情報教育に何が一番必要か
- 相手モデルを持つゲーム木探索法についての考察
- 局面情報のパターンマッチングによる候補手の生成
- 将棋における局面変化に応じた評価関数
- 将棋に適したデータ構造
- ハッシュテーブルを用いたコンピュータ将棋の探索の効率化(2)
- ハッシュテーブルを用いたコンピュータ将棋の探索の効率化
- 部分局面のパターンマッチによる候補手選択
- 仮想空間における人間の行動モデルの生成
- 仮想空間実験による人間の方向感覚と距離感覚のモデル生成
- Heptamond問題の全解数推定