部分観測マルコフ決定過程ベルマン方程式のカーネル化(強化学習,統計推理,データベース,一般)
スポンサーリンク
概要
- 論文の詳細を見る
最近のカーネル法である分布埋め込みとカーネルベイズルール(KBR)を使って,部分観測マルコフ決定過程(POMDP)を再生核ヒルベルト空間(RKHS)上で扱うことを行う.状態集合が作る再生核ヒルベルト空間の上に価値関数を定義し,ベルマン(最適)方程式を再生核ヒルベルト空間上の方程式に埋め込むことを考える.学習される方策は,再生核ヒルベルト空間の元から行動への写像となる.埋め込んだベルマン(最適)方程式の有限サンプル経験表現を与え,カーネルベイズルールと組み合わせたカーネル価値反復アルゴリズムを提案する.実験では,カーネル価値反復アルゴリズムを,部分観測決定過程のオンラインプランニングのベンチマークに適用し,方策が真のモデルの方策を学習した数値結果を示す.また,このカーネル法の下でQMDP近似を提案し,カーネル価値反復の初期価値関数設定と行動枝の枝刈りに使うことを提案する.
- 2012-03-05
著者
-
福水 健次
統計数理研究所
-
福水 健次
(株)リコー研究開発本部
-
西山 悠
東京工業大学総合理工学研究科知能システム科学専攻
-
西山 悠
統計数理研究所
-
GRETTON Arthur
Gatsby Unit, UCL:Max Planck Institute for Intelligent Systems
-
Boularias Abdeslam
Max Planck Institute for Intelligent Systems
-
GRETTON Arthur
Gatsby Unit, UCL
関連論文
- 多値判別における2値判別機のゲーム理論的組合せ法(人工知能,認知科学)
- 再生核ヒルベルト空間を用いた統計的推論 (再生核の応用についての研究)
- IT野ニューロン集団の時間相関を取り入れたクラスタリング
- 29pXH-7 側頭葉の顔応答ニューロンの混合正規分布解析(29pXH ニューラルネットワーク(神経系のモデルを含む),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 混合 von Mises-Fisher 分布の変分ベイズ推定について
- 特異モデルの学習理論(情報論的学習理論論文)
- 正定値カーネルによる回帰問題における次元削減法 (特集 計算推論--モデリング・数理・アルゴリズム)
- ニューロ多様体の特異構造と無限の局所自由度 (最新 脳の数学理論--脳を語る情報と幾何の最前線)
- 特異モデルにおける統計的推測 : 接錐によるアプローチ
- [チュートリアル講演]特異モデルにおける統計的推測(統計的学習理論及び一般)
- 多項式近似における学習データの最適設計と予測誤差
- 縮退したFisher情報行列を持つ系の学習について
- 多層パーセプトロンのFisher情報行列の正定値性について
- ニューラルネットワークの推定誤差の解析と学習データ最適化手法
- NCCCPに基づくCDMAマルチユーザ復調アルゴリズム
- 研究詳解 正定値カーネルによるノンパラメトリック推論 (特集「統計的機械学習」)
- 3.ニューラルネットワークの能動学習 (能動学習)
- 多層ニューラルネットワークの特殊な統計的性質
- 一次データを保存しない大規模科学計算の可能性
- ベーテ自由エネルギーに対するCCCPアルゴリズムの拡張
- 25pPSB-4 菊池自由エネルギーに対するCCCPアルゴリズムの拡張(ポスターセッション,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 正規分布におけるベーテ近似の解析解と数値解(機械学習,一般)
- ガウシアン確率伝搬の近似精度に対する理論解析(生体信号の計測と解析,一般)
- 完全2部グラフ型ボルツマンマシンの平均場近似による確率的複雑さについて(情報理論)
- 一般ボルツマンマシンにおける平均場近似自由エネルギーの漸近的挙動
- 完全2部グラフ型ボルツマンマシンにおける平均場近似自由エネルギーの漸近的挙動
- 28aPS-86 分子動力学データに対する統計解析(28aPS ポスターセッション,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 最適化問題を解くホップフィールドモデルの設計法
- 23aGN-5 生体分子の分子動力学時系列データに対する統計解析(23aGN 生物物理,領域12(ソフトマター物理,化学物理,生物物理))
- Kernel and Feature Search in Kernel PCA (情報論的学習理論と機械学習)
- Kernel and Feature Search in Kernel PCA
- 部分観測マルコフ決定過程ベルマン方程式のカーネル化(強化学習,統計推理,データベース,一般)
- 代謝フラックスと凸多面体 (第9回生物数学の理論とその応用)
- Classes of translation-invariant kernels on compact groups