遅れ報酬に基づく遺伝的アルゴリズムによる部分観測マルコフ決定問題の解決手法
スポンサーリンク
概要
- 論文の詳細を見る
強化学習は通常マルコフ性が仮定されていることが多い.しかし, エージェントが環境を完全に観測できるとは限らず, そのような場合, 異なる状態を同一の状態として観測する.本研究ではこのような知覚の見せかけ問題を伴う部分観測マルコフ決定問題(POMDP)を解決する手法として, 遅れ報酬に基づく遺伝的アルゴリズム(DRGA)を開発した.DRGAはPOMPを複数のサブタスクに分割し, エージェントを複数のサブエージェントに分割することでPOMDPを解決する.それぞれのサブエージェントは遅れ報酬を用いることで環境に適した製作を獲得し, 政策自体は学習を通して得られた遅れ報酬に基づき遺伝的アルゴリズムによって進化する.淘汰されて生き残った有効な政策を組み合わせることによって環境に適応する.本手法を知覚が限定された迷路探索問題に適用し, その有効性を示す.
- 2001-12-01
著者
-
武田 英明
国立情報学研究所
-
上野 敦志
奈良先端科学技術大学院大学情報科学研究科情報処理学専攻
-
上野 敦志
奈良先端科学技術大学院大学情報科学研究科:(現)(株)三菱電機
-
上野 敦志
奈良先端科学技術大学院大学
-
山城 啓秀
奈良先端科学技術大学院大学情報科学研究科
-
山城 啓秀
奈良先端科学技術大学院大学情報科学研究科:(現)(株)三菱電機
関連論文
- セマンティックウェブとオントロジー研究会(SIG-SWO)(研究会総覧)
- ソーシャルeサイエンスと総合学術オントロジー
- 6ZK-6 QRコードを用いた実世界からの関係情報の抽出と分析(情報爆発時代におけるストリームデータと実世界情報処理,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 6ZK-5 役員の職歴を用いた企業間ネットワークの定量分析(情報爆発時代におけるストリームデータと実世界情報処理,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 3ZK-6 ソーシャルブックマークにおけるユーザのタグ付与行動分析に基づくコンテンツ分類(情報爆発時代におけるWeb技術およびWeb情報抽出,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- マーキングを用いたソーシャルタギングの有効性に関する検証(グループインタラクション支援とグループウェア,インタラクションの理解とデザイン)
- 学術会議における体験共有のための行動履歴に基づくWeblogシステム(文化・コミュニティとネットワークサービス,社会システムと向き合うネットワークサービス)
- Community Web プラットフォーム
- リアルワールドとしてのWeb(ソーシャルネットワーク時代のWebインタラクション)
- 領域オントロジーと個人嗜好情報に基づくモバイル型レコメンデーションシステムの構成(オントロジーとエージェントとWebサービス, セマンティックWebとソフトウェア工学, 一般)
- 動画共有サイトにおける大規模な協調的創造活動の創発のネットワーク分析 : ニコニコ動画における初音ミク動画コミュニティを対象として
- TL2000-13 論文のチャート化による論文理解支援システムの提案
- 11.Webのこれまでとこれから : 情報の共有から知の融合へ(時代をひらく電子情報通信技術-技術がもたらした変革,そして更なる飛躍-)
- Webにおけるアイデンティティとセマンティックスの表現と利用(WebアイデンティティとAI)
- 身体化エージェントの身体方向・登場位置がユーザに与える影響(ソーシャルインテリジェンス)
- ソーシャルマッチングのための紹介支援システムについての考察(ソーシャルインテリジェンス)
- ソーシャルマッチングのための紹介支援システムについての考察
- 出会いの情報技術 : イベント空間の高度化(センシングネットワーク:目的指向編)
- コミュニティ支援システムUbiCoAssistのデザインと評価
- 人工知能用言語Lispの今と将来
- 115 創造的設計のための仮説的知識生成支援の研究(創造・創発〔II〕)
- 設計情報の公開と共有
- 学術資源共有基盤WEKOの開発
- 研究者リゾルバーαのコンセプト
- A22 KAKEN βと研究者リゾルバーαの情報構造 : KAKEN β1.12と研究者リゾルバーα1.12(セッションA2(情報システムの構築1),一般発表概要,第5回情報プロフェッショナルシンポジウム)
- セマンティックWebとLinked Data(ワークショップ-Web2.0時代のビジネスモデル-)
- 特集「サービスイノベーションとAIその2」にあたって
- 初音ミク動画はどうやって作られたか?--ネットワーク分析による大規模な協調的・創発的創造活動の調査 (総特集 初音ミク--ネットに舞い降りた天使)
- 3110 格文法分類と知識テンプレートに基づく知識表現(OS9-4 ライフサイクル設計とサービス工学-IV)知識表現)
- アブダクションによる創造的設計支援
- 1405 概念ネットワークを活用したアナロジーによる仮説的設計知識の生成手法(OS1 ソフト人工物II)
- 視覚を有するエージェントのための身体性に基づく内部表現獲得手法
- Linked Open Dataによるボトムアップ型オープンガバメントの試み
- 説得性に基づく情報推薦手法の提案:送り手の属性に着目したモデルと検証
- 学会支援システムにおける実世界指向インタラクション(Webインテリジェンスとインタラクション)
- Weblogの現在と展望 : セマンティックWebおよびソーシャルネットワーキングの基盤として
- セマンティックウェブとオントロジー研究会(SIG-SWO)
- 記憶の想起と記録のためのライフログ・ブログ連携型支援手法の提案
- ソーシャルeサイエンスと総合学術オントロジー
- Bookmark からの共通話題ネットワークの発見手法の提案とその評価
- WWWにおけるユーザの共通話題ネットワークの発見手法
- 対象物に「触れる」行為と記憶の遍在化による日常記憶支援(ヒューマンコンピュータインタラクション)
- 2303 透過型オントロジーによるターミノロジー管理(OS2 ライフサイクル設計とサービス工学II:ツール,未来社会を支えるものづくりとひとづくり(設計・システムから))
- アブダクションに基づく設計者支援環境の基本構想(機械要素, 潤滑, 工作, 生産管理など)
- 商品探索時におけるユーザの嗜好のモデルの変化の獲得
- 選好商品のクラスタリングに基づく嗜好の変化の検出
- 人工知能学会の学会活動の変遷(データから見る人工知能学会の20年,人工知能学会創設20周年記念企画)
- 人工知能学会の学会活動の変遷
- 機械学習とユーザ知識を用いたイベント情報の構造化
- 選好商品のクラスタリングに基づく嗜好の変化の検出
- 技術文書のブラウジングを通じたオントロジーの獲得支援システム (先端メディアの教育利用と教材データの格納・再利用/一般
- 会議スクリプトにもとづく会議運営支援システムの開発
- 動画共有サイトにおける大規模協調的な創造活動の分析
- 3ZP-3 コミュニティ知識を用いた機械学習によるイベント情報の構造化(情報爆発時代におけるデータマイニング・アルゴリズム,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 8.パネル討論:エージェントの社会的インパクト(社会に向き合うエージェントシステム)
- M-063 街なかソーシャル・ブックマーキング"pin@clipピナクリ" : e空間実現のためのサービス実証実験の全体像(M分野:ユビキタス・モバイルコンピューティング,一般論文)
- ユーザによる身体化エージェント視点の取得(セッション2:かえりみるインタフェース(2),かえりみるインタフェース,および一般)
- 身体化エージェントの発話・内省を表すふきだしの形状によるユーザの視点の変化
- 吹き出し型入力フォームの形状の違いによるユーザと身体化エージェントとの視点共有の変化(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- M-066 大型店舗におけるセンサを用いた人・スポットの状況推定の試み : e空間実現のための人・環境センサ活用(M分野:ユビキタス・モバイルコンピューティング,一般論文)
- M-064 行動ログを用いたユーザ特性の解析とその活用 : e空間実現のためのユーザ特性に関する研究(M分野:ユビキタス・モバイルコンピューティング,一般論文)
- RM-011 距離的なコストが情報閲覧および実行動に及ぼす影響 : e空間実現のための価値割引に関する研究(M分野:ユビキタス・モバイルコンピューティング,査読付き論文)
- RM-003 説得性に基づく情報推薦手法の提案 : 「ぷらっとPlat@自由が丘」における統合された行動ログの活用(ユビキタス・モバイルコンピューティング,査読付き論文)
- 5ZN-2 検索エンジンを用いた人名の読み仮名抽出(情報爆発時代におけるWebマイニング,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 2K-6 テレビ番組の視聴履歴を用いた番組推薦システムの構築(情報爆発時代におけるアルゴリズム高率化,一般セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- M-023 心的コンテキスト推定 : 「ぷらっとPlat自由が丘」におけるユーザ特性の推定(ユビキタス・モバイルコンピューティング,一般論文)
- M-022 ぷらっとPlat@自由が丘における来街ユーザの行動によって生成されるCGMサーバの実装(ユビキタス・モバイルコンピューティング,一般論文)
- M-018 「地域活性化を支えるe空間サービスぷらっとPlat@自由が丘」における技術開発 : コンセプトと全体像(ユビキタス・モバイルコンピューティング,一般論文)
- 遅れ報酬に基づく遺伝的アルゴリズムによる部分観測マルコフ決定問題の解決手法
- 著者話題モデルによる話題予測の評価(意図解析,特集「Web情報処理」及び一般)
- リスクマイニングのための研究者コミュニティの発見方法(人・物のネットワークとマイニング技術の活用, 「安全・安心な社会生活の実現に向けた知識の活用とソフトウェア開発支援」及び一般)
- コミュニティマイニングのための研究者情報の視覚化(コミュニティ形成とデータ知能学, セマンティックWebとソフトウェア工学, 一般)
- 階層的分類データを統合するための規則学習機構
- パーソナルネットワークを利用したコミュニティシステムの提案と分析
- 意味理解するWebを目指して : 次世代Webの方向性を探る(「Semantic Webとその周辺」)
- DashSearch:ウィジェットを利用したデスクトップ検索インタフェース(セッション3:しっかり/かっちりインタラクション(3),テーマ:「しっかり/かっちりインタラクション」および一般)
- 特集「人工市場」にあたって
- 2003年度人工知能学会全国大会支援統合システム
- 論文特集「Webコンテンツの知的処理」まえがき
- 人間関係ネットワークに基づく情報フィルタリングを用いた協調的タスクスケジューラ(ヒューマンコンピュータインタラクション)
- ソーシャルマッチングのための紹介支援システムについての考察
- 3.イベント空間におけるコミュニケーション支援(コミュニケーション支援)
- Linked Dataの動向
- 視覚的オブジェクトを用いた探索的メタデータ検索
- 1.Webの進化とエージェント,セマンティックWeb(社会に向き合うエージェントシステム)
- 共生アプリケーションのためのマルチメディア・デバイス情報エンジン (情報プラットフォーム)
- リンクするデータ(Linked Data)-広がり始めたデータのクラウド- : 6.日本におけるLinked Dataの現状と普及に向けた課題
- Universal Abduction Studioによる創造的設計のための知識スキーム(ソフト人工物III)
- 2103 創造的設計のための仮説的知識の生成手法
- 複数概念体系間の統合化利用のための体系の構造を利用した関連発見
- 2302 Web情報を用いた設計知識情報データベースの拡充手法
- 1311 表層格タグ付け知識を用いた創造的設計支援のための知識表現
- DT-2-1 軽量セマンティックWebアプリケーション(DT-2.身近なところで役に立ち始めたセマンティックWeb,チュートリアル講演,ソサイエティ企画)
- Webの社会化,社会のWeb化,そして個人のIntegrity(編集委員2007年の抱負)
- Webの進化と情報流通(図書館とWeb2.0)
- 設計と情報
- 2308 設計知識に注目した設計の推論モデルの提案(第 4 報) : 設計の推論モデルの計算機上への実装と検証
- 2307 設計知識に注目した設計の推論モデルの提案(第 3 報) : 設計行為に関する知識を記述するシンセシス言語の提案
- 2309 設計知識に注目した設計の推論モデルの提案(第 5 報) : 異なる設計過程のモデルとの比較
- 設計事例分析による設計過程モデルの比較(第2報) : 設計過程の情報モデルの提案