複数行動結果を考慮した最尤推定に基づく状態一般化法

概要

論文の詳細を見る
近年の自律エージェント研究における主要テーマの一つとして, 行動獲得問題, すなわち, エージェントが環境との相互作用を通していかに適切な行動規則を学んでいくべきかという問題があげられる.この問題に対するこれまでの多くの研究は, あらかじめ抽象化・離散化された状態集合(空間)と行為集合との間のマッピングを獲得するという枠組みに基づいていた.しかし, 実はこの状態集合をどう定義するかは必ずしも自明な問題ではない.それどころか, 個々のエージェントの状態空間はそのエージェントのタスクゴール, センサやアクチュエータなどの身体性, さらには環境の性質などに強く依存すると考えられ, 設計段階において人間があらかじめ最適に定義しておくことは一般に困難である.このような背景から, ここ数年, 自律エージェント自身が過去の行動経験などに基づいて自律的にプリミティブなセンサ空間を抽象化し, 離散的な状態集合を獲得するための手法がいくつか提案されている.しかし, これらの従来の状態一般化手法は, 「何に基づいて状態間(あるいはセンサ入力インスタンス間)の近い/遠いを決めるか」という状態一般化基準の点においてそれぞれ異なる立場を取っており, しかもそれらの異なる基準間の関係や, その違いがどのような結果の違いをもたらすかということに関して体系立った説明が行われていない.そこで本稿では, 状態一般化における状態間の距離尺度という問題に主な焦点を当てる.まず, 従来の状態一般化法をこの観点から分類し, その後それらを包含する新たな一般的枠組みとして「複数行動結果を考慮した最尤推定に基づく状態一般化法」を提案する.これは, ある状態集合を用いてエージェントの行動結果予測モデルを最尤推定した際の尤度の大きさを評価関数として定義し, これを最大化するようなセンサ入力空間の分割を求めることによって状態一般化を行うという方法である.また, 本稿の後半では実際に数種類の異なる一般化基準を用いてエージェントの状態空間を構成・再構成した場合の行動学習結果について実験・考察を行い, この枠組の妥当性を実証する.
人工知能学会の論文
2001-01-01

複数行動結果を考慮した最尤推定に基づく状態一般化法

スポンサーリンク

概要

著者

関連論文

スポンサーリンク