潜在変数モデルにおける変分自由エネルギーの漸近形と平均汎化誤差(学習問題の解析,テキスト・Webマイニング,一般)
スポンサーリンク
概要
- 論文の詳細を見る
混合正規分布,隠れマルコフモデルなどの潜在変数を持つモデルのベイズ学習では,変分ベイズ法による近似が広く用いられている.近年,いくつかの学習モデルについて変分ベイズ法の目的関数である変分自由エネルギーの漸近的な振る舞いを調べることにより,その近似精度や学習アルゴリズムの挙動が明らかにされてきた.しかしながら,変分ベイズ法の性質を記述する一般論は与えられておらず,特に変分ベイズ法を用いたときの汎化誤差の解析はごく一部の学習モデルに限られていた.本研究では一般の潜在変数モデルについて変分自由エネルギーの漸近形を評価する公式を導き,その混合正規分布への応用例を示す.また潜在変数と観測変数の同時分布についての予測分布の汎化誤差と変分自由エネルギーの関係を示唆する不等式を導出し,数値実験により,これが実際の汎化誤差の振る舞いを部分的に説明していることを示す.
- 2011-03-21
著者
-
渡辺 一帆
東京大学大学院新領域創成科学研究科複雑理工学専攻:(現)奈良先端科学技術大学院大学情報科学研究科
-
渡辺 一帆
奈良先端科学技術大学院大学情報科学研究科
-
渡辺 一帆
奈良先端科学技術大学院大学 情報科学研究科
関連論文
- 平滑化事前分布を用いた変動2値情報源の事後確率最大化法(研究速報)
- 縮小ランク回帰モデルのベイズ汎化誤差について
- ランク縮小写像のベイズ汎化誤差の解析
- 階層ベイズ法を用いたNIRS-DOTの逆問題解法とその相図(脳活動の計測と解析,一般)
- 変分ベイズ法における確定的アニーリング
- 階層変分べイズ法によるNIRS-DOTの逆問題解法
- 事後分布の局所変分近似における分布間の情報量について
- 転送行列法を用いた発火率推定(機械学習,一般)
- 混合ベルヌーイ分布による変分ベイズ学習の相転移構造(IBIS2010(情報論的学習理論ワークショップ))
- 隠れマルコフモデルの変分ベイズ学習における確率的複雑さについて(パターン認識)
- 確率文脈自由文法の変分ベイズ推定における確率的複雑さについて(一般, 脳・ヒューマンモデリング, 一般)
- 隠れマルコフモデルの変分ベイズ推定における確率的複雑さについて
- 変分ベイズ法による混合指数型分布を用いたクラスタリング法(一般(ベイズ法など),脳インタフェースの技術と応用,一般)
- 研究詳解 指数型分布族の空間におけるデータ解析法について (特集「統計的機械学習」)
- 情報量の測り方による近似事後分布の性質の相違について
- 混合指数型分布の変分ベイズ学習における確率的複雑さ
- 変分ベイズ法による混合正規分布モデルの学習における確率的複雑さについて(一般)
- 極値統計量を用いたデータ発生領域の学習法(統計的学習理論及び一般)
- 潜在変数モデルにおける変分自由エネルギーの漸近形と平均汎化誤差(学習問題の解析,テキスト・Webマイニング,一般)
- A-4-28 付加的計測を用いたネットワークトモグラフィ(A-4.信号処理,一般セッション)
- ブレグマン情報量を用いたベイズ学習の局所変分近似(知的システム,一般)
- 混合分布のノンパラメトリック推定と最小ダイバージェンス法(ポスターセッション,第14回情報論的学習理論ワークショップ)
- 混合分布のノンパラメトリック推定と最小ダイバージェンス法
- アクティブ計測とパッシブ計測を用いたパケット損失率推定法(行列分解,応用,統計推理,データベース,一般)
- 自由エネルギーによる潜在変数推定精度の計算法(第15回情報論的学習理論ワークショップ)
- 漸近的ミニマックス性とデータ数の知識の関係について