マクロオペレータの部分的再利用による強化学習システムの動的環境への適応能力の改善
スポンサーリンク
概要
- 論文の詳細を見る
近年, 動的環境に適応できるシステムに対する関心が高まっている。強化学習は環境からの報酬をもとに自らの行動を変化させていく枠組みであり, 動的環境への適応能力も高いものと考えられている。しかしながら, 通常の強化学習システムでは過去の学習結果が新しい環境への適応を阻害してしまったり, 適応の際に学習結果を効率良く再利用できないなどの問題が生じる可能性がある。本論文では, 環境変化に際してマクロオペレータを部分的に再利用するメカニズムを導入することによって, 強化学習システムの動的環境に対する適応能力の改善を行う。マクロオペレータは時系列的に連続して適用されるルールを結合した高次のルールであり, 環境変化の前に学習したルール系列を環境変化による撹乱から保護するとともにその再利用を促進する役割を果たす。提案システムでは, マクロオペレータは学習の進行に併せて動的に生成される。環境変化が起こったときには, マクロオペレータを適切に分割, 結合することによって新しい環境への適応を促進する。実験により, 提案システムが通常の強化学習システムに比べて動的環境への適応能力に優れていること, 特に問題の規模が大きくなったときにその優位性が顕著になることを示す。
- 社団法人電子情報通信学会の論文
- 2001-07-01
著者
-
安西 祐一郎
慶應義塾大学大学院理工学研究科
-
安西 祐一郎
慶應義塾大学大学院理工学研究科計算機科学専攻
-
安西 祐一郎
慶應義塾大学
-
安西 祐一郎
慶應義塾:中央教育審議会
-
嶋田 総太郎
慶應義塾大学大学院理工学研究科計算機科学専攻
関連論文
- 塾長式辞 (平成二十年度[慶應義塾]大学入学式)
- 発足の経緯とその展開(「情報学を創る」-科研プロジェクトがめざしたもの)
- CSS-treeの挿入処理の高速化
- リアルタイム処理用マルチスレッディングプロセッサの優先度に基づくキャッシュサブシステム
- 分散共有メモリを用いた実時間での記憶管理に関する考察
- マルチスレッドプログラム構成支援ツールMTPの設計と実装
- CSS-treeの挿入処理の高速化
- モバイルエージェントを用いたセンサネットワーク向けフレームワーク
- モバイルエージェントを用いたセンサネットワーク向けフレームワーク(高速ネットワークとマルチメディアアプリケーション)
- ユーザ追随型モバイルエージェントフレームワーク"FollowingSpace"の提案と応用(次世代移動通信ネットワークとその応用)
- Baumを用いたモバイルユーザ向け周辺情報提示アプリケーション(モバイルアプリケーション,マルチメディア,分散,協調とモバイル(DICOMO2005))
- 協調伝達モデル : 関係性に基づくヒューマンロボットインタフェース
- ロボットからの発話 : 自発的発話生成のための注意の表出機構の実現(21世紀のグループウェア)
- 日本認知科学会博士論文コンソーシアム報告
- センサデータベースシステム実現方式の一提案(セッション7B : 時系列データ)
- センサデータベースシステム実現方式の一提案(時系列データ)(「夏のデータベースワークショップ(DBWS2003)」一般)
- 並列プログラムのデバッグのためのトレース手法
- 移動センサノードに対応したセンサノード管理システムの拡張
- 移動センサノードに対応したセンサノード管理システムの拡張
- 適応型センサネットワークの構成手法
- 開放分散環境のためのセンサノード管理システム
- リアルタイムOSにおける単一仮想空間のマッピング手法
- 機能別並列計算機におけるタスクの分割・並列実行
- 単一仮想記憶空間を提供するリアルタイムOSの設計
- 分散共有メモリを用いた実時間ページングの提案と実装
- 古典的条件付けにより大脳皮質聴覚野に生じる可塑的変化の光計測
- 大脳皮質聴覚野における海馬刺激強度依存的な応答変化の光計測
- 主記憶に不揮発メモリを用いたシステムの実行状態復元手法(コンパイラとシステムソフトウエア)
- 不揮発メモリを用いた永続システムの設計方法(インターネット環境でのデータ工学とディペンダビリティ論文小特集)
- 不揮発RAMを用いたシステムにおける主記憶管理手法
- 不揮発RAMを用いたPersistent OSにおけるカーネルメモリマネージメント
- 不揮発RAMを用いたPersistent : OSにおけるカーネルメモリマネージメント
- 「AIマップ-AIにおける科学革命」へのコメント
- 言語理解・意味理解の先駆者田中穂積先生の想い出(6)
- 人間のインタラクション研究のツールとしてのロボット
- 人間支援のための分散リアルタイムネットワーク基盤技術プロジェクトの紹介(人間支援のための分散リアルタイムネットワーク)
- レスポンシブリンクを用いた実時間処理用分散共有メモリの設計と実装
- レスポンシブリンクの通信遅延管理を実現する動的経路制御機構
- 実時間Osμ-PULSERへの実時間イベント伝達機構の設計と実装
- パーソナルロボット用機能別並列計算機アーキテクチャ ASPIRE の RISC を用いた設計と実装
- パーソナルロボットのためのアクティブインタフェースの設計と実装
- パーソナルロボット用機能別並列計算機アーキテクチャ : ASPIRE
- パーソナルロボット用ハードウェアアーキテクチャASPIREへのRISCプロセッサの応用
- パーソナルロボット用ハードウェアアーキテクチャASPIREの設計と実装
- RISCプロセッサを用い割り込みを重視したパーソナルロボット用の機能別モジュールの設計と実装
- 教育政策と教育学研究との対話 : 教育学は政策学たりうるのか(公開シンポジウムI,日本教育学会第66回大会報告)
- 目標制約の表現機構を備えた制約論理型言語EPOCH
- これからの認知科学への期待
- Seshat : 作業で関わった実世界オブジェクトによるコンテンツ検索
- 対話ロボットの反応時間と反応遅延時における間投詞の効果
- 人とコミュニケーションロボットの直示的な会話の実現
- トップ対談 「早稲田」125周年 白井克彦総長・「慶應」150年 安西祐一郎塾長 グローバル化と地域活性化に応える人材育成が我々の使命だ
- Brownie : カメラ上に指定された過去のランドマーク情報に基づく実世界探し物検索システム(「人工知能的方法論を用いた知的画像処理」)
- コミュニケーションロボットのための指さしと指示語を用いた3段階注意誘導モデル
- 第1回 これからの情報処理学会(これからの情報処理学会)
- RSV : コミュニケーションロボットのためのセンサデータ解析支援システム
- 領域可変型検索手法Baumによるモバイルユーザのための周辺情報提示(モバイルアプリケーション, ユビキタスITSとモバイルアプリケーション)
- 観測指向モデルによるロボットの自発的な行動基準の生成(IDEA: 適応のためのインタラクション設計)
- リアルタイムデータベースのためのデータ品質管理手法の提案
- リアルタイムデータベースのためのデータ品質管理手法の提案
- リアルタイムデータベースのためのデータ品質管理手法の提案
- 分散時系列データベースにおける問い合わせ処理のQoS保証に関する研究
- 分散時系列データベースにおける問い合わせ処理のQoS保証に関する研究
- マクロオペレータの部分的再利用による強化学習システムの動的環境への適応能力の改善
- 動的な環境におけるクラシファイアシステムの学習追従性
- CBRを用いた時系列データ分割・分類機構の提案
- クラシファイアシステムにおけるニッチ形成およびチャンキング
- クラシファイアシステムにおける効率的なチェイン生成のための一手法
- 慶應義塾大学理工学部安西・天野研究室
- 教育政策と教育学(I.教育政策と教育学研究との対話-教育学は政策学たりうるのか-,3 公開シンポジウム,発表要旨)
- 開放型分散ロボット環境における無線パケット通信のための動的なタイムスロット割り当て機構
- PULSER : リアクティブシステムの構築に適したオペレーティングシステム
- パーソナルロボット制御に対するリアルタイムスケジューラの適応性評価
- 自律移動ロボット用OS PULSERの設計と実装
- 物理世界の状態変化に敏感なシステムPULSER-IIの提案と実装
- 無線により通信する自律移動ロボットの動的な中継局選択法
- ロボットコマンド学習システムAcorn-IIとその評価
- MARSHA : 複数の自律移動ロボットの個体差を考慮した地図獲得システムの設計と実装
- 空間的関係の推論と学習 (「図による推論」)
- 音声によるヒューマン・ロボットインタラクションに関する研究
- ヴィジュアルパターンからの記号的制約表現の学習
- 複数の自律移動ロボットによる地図生成システムMARSHAの設計と実装
- 制約表現を用いた空間的関係の獲得機構について
- 文脈に依存した定性的空間表現とその自然言語対話処理システムへのインプリメンテーション
- センサデータベースシステムKRAFTの設計と実装
- リモートメモリを用いたセンサデータストリームの永続化
- データ鮮度と実時間応答を考慮したスケジューリング方式
- インクリメンタルな制約解消機構を用いたロボットタスクスケジューラの設計と実装
- 計算システムとのインタラクション : 楽しさを促進する要因に関する考察
- オフィスロボットシステムHuRIS : RSCWの提案
- 手書き文書認識システムにおける誤認識修正インタフェースに関する考察
- 実世界指向分散ヒューマンインタフェースシステムの提案
- マルチエージェントモデルに基づく実時間分散制御システムの提案
- 物理世界に開けた協調作業支援システムの提案
- HURON : 人間とロボットの協調による移動ロボットのためのナビゲーションシステム
- エージェントモデルに基づく協調作業支援環境について
- ヒューマン・群知能ロボット・インタフェースシステム - 人間とロボットの協調について -
- Michele: マルチエージェントモデルに基づく協調作業の新しい枠組
- 移動ロボット環境に適したタスクアロケーションアルゴリズムの提案
- 非同期型通信と実時間型通信の両者を統合した協調作業支援環境の提案