混合ベルヌーイ分布による変分ベイズ学習の相転移構造(IBIS2010(情報論的学習理論ワークショップ))
スポンサーリンク
概要
- 論文の詳細を見る
変分ベイズ法は事後分布に対して平均場近似の手法を用いることでベイズ学習を高速に行う学習法として幅広い範囲で応用されている。そのアルゴリズムは変分自由エネルギーの最小化により達成されるが、変分自由エネルギーの上界および下界の漸近解析に基づいた、混合比のハイパーパラメータに依存する相転移の存在が報告されている。本論文では混合ベルヌーイ分布を用いた場合の変分自由エネルギーの漸近式を理論的に導き、混合比およびベルヌーイ分布の双方のハイパーパラメータによって引き起こされる相転移の構造を明らかにする.
- 2010-10-28
著者
-
渡辺 澄夫
東京工業大学精密工学研究所
-
梶 大介
東京工業大学大学院総合理工学研究科:コニカミノルタエムジー株式会社
-
渡辺 一帆
東京工業大学総合理工学研究科
-
渡辺 一帆
東京大学大学院新領域創成科学研究科複雑理工学専攻:(現)奈良先端科学技術大学院大学情報科学研究科
-
梶 大介
東京工業大学大学院総合理工学研究科:コニカミノルタエムジー(株)
-
渡辺 澄夫
奈良先端科学技術大学大学院情報科学研究科
-
渡辺 一帆
東京工業大学精密工学研究所
-
渡辺 澄夫
東京工業大学知能システム科学専攻
関連論文
- 平滑化事前分布を用いた変動2値情報源の事後確率最大化法(研究速報)
- 重み付きブローアップの混合多項分布への応用(情報理論)
- On the relation between asymptotic learning curve and renormalizability in learning theory (ニューロコンピューティング)
- 学習理論における極限定理と特異ゆらぎの関係について
- MCMCサンプルを中心に持つ混合正規分布の最適化による確率的複雑さの計算法
- 交換モンテカルロ法における熱浴型交換率の解析
- 特異モデルの学習理論(情報論的学習理論論文)
- 独立でないデータによる隠れマルコフモデルの構造推定(確率モデル,統計,学習,神経ダイナミクス,一般)
- Pade近似による学習理論のゼータ関数の極の推定
- 特異モデルにおけるマルコフ連鎖モンテカルロ法の評価法(パターン認識)
- 特異モデルにおけるモデル選択法の提案
- 隠れマルコフモデルの学習係数について
- ベイズ事後分布実現における平均場近似の精度評価
- 階層型ベイジアンネットワークの確率的複雑さと特異点(ベイジアンネット2 : ポスターセッション)
- 特異的な学習モデルにおけるメトロポリス法の挙動について
- カルバック情報量の分割による特異モデルの確率的複雑さの計算法
- 特異モデルにおけるMCMC法の計算精度について(一般)(ニューロインフォーマティックスとは何か)
- 形式的情報量規準による決定株を用いたAdaBoostのモデル選択(バイオサイバネティックス,ニューロコンピューティング)
- 統計的推測の状態方程式に関する実験的検討
- 情報量規準を用いたAdaBoostのモデル選択の検討
- 特異モデルにおけるMCMC法の計算精度について
- ベイジアンネットワークの確率的複雑さと代数幾何(統計的学習理論及び一般)
- 縮小ランク回帰モデルのベイズ汎化誤差について
- ランク縮小写像のベイズ汎化誤差の解析
- NCCCPに基づくCDMAマルチユーザ復調アルゴリズム
- 混合正規分布におけるベイズ周辺尤度の厳密計算法 (ニューロコンピューティング)
- 特異モデルにおけるベイズ検定と時系列解析への応用(アルゴリズム理論)
- 特異モデルにおけるベイズ検定と時系列解析への応用(ベイズ情報処理,ベイズ情報処理及び一般)
- 物理学者でない人にとって平衡統計力学とは
- 階層ベイズ法を用いたNIRS-DOTの逆問題解法とその相図(脳活動の計測と解析,一般)
- 変分ベイズ法における確定的アニーリング
- 学習理論の基礎概念
- 階層変分べイズ法によるNIRS-DOTの逆問題解法
- 自己組織化写像の汎化誤差について(機械学習,生物模倣情報処理,機械学習,一般)
- 学習理論における漸近挙動と繰り込み可能性との関係について
- 特異点解消とニューラルネットワークのベイズ推定における汎化誤差(バイオサイバネティックス, ニューロコンピューティング)
- 混合正規分布の特異点の非解析性について(学習理論)
- ニュートン図形を用いた確率的複雑さの解析法(学習理論)
- 縮小ランクモデルの汎化誤差と特異点解消(学習理論)
- [チュートリアル講演]特異点解消と学習理論への応用(統計的学習理論及び一般)
- 代数幾何と学習理論への入門と新展開(特別セッション,機械学習とその応用)
- 混合正規分布におけるべイズ周辺尤度の厳密計算法(機械学習,生物模倣情報処理,機械学習,一般)
- 混合正規分布の隠れ変数上のMCMC法の提案とベイズ周辺尤度への応用(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- 混合正規分布の隠れ変数上のMCMC法の提案とべイズ周辺尤度への応用(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- 変分ベイズ法におけるクロスヴァリデーションと汎化誤差の分散について(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- 変分べイズ法におけるクロスヴァリデーションと汎化誤差の分散について(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- 事後分布の局所変分近似における分布間の情報量について
- 転送行列法を用いた発火率推定(機械学習,一般)
- ニューラルネットワークを利用した能動的な視覚系の制御
- 独立成分解析に基づく画像情報量の抽出法
- 混合正規分布におけるベイズ法と変分ベイズ法の相違について(IBIS2010(情報論的学習理論ワークショップ))
- 遺伝的アルゴリズムによる超音波イメージング系のシステム特性の同定
- 混合ベルヌーイ分布による変分ベイズ学習の相転移構造 (情報論的学習理論と機械学習)
- 混合ベルヌーイ分布による変分ベイズ学習の相転移構造(IBIS2010(情報論的学習理論ワークショップ))
- 線形逆問題における階層変分ベイズ法の解析
- 隠れマルコフモデルの変分ベイズ学習における確率的複雑さについて(パターン認識)
- 確率文脈自由文法の変分ベイズ推定における確率的複雑さについて(一般, 脳・ヒューマンモデリング, 一般)
- 隠れマルコフモデルの変分ベイズ推定における確率的複雑さについて
- 局所化ベイズ学習法(アルゴリズム理論)
- 線形神経回路網における部分空間ベイズ法の解析 : ベイズ的推定法と縮小推定との関係(一般, 脳・ヒューマンモデリング, 一般)
- 縮小ランク回帰における変分ベイズ法の汎化誤差について
- 縮小ランク回帰における変分ベイズ法の汎化誤差について
- ハイパーパラメータ最適化法における汎化誤差について : 経験ベイズ法と特異点を持つ階層モデルとの類似(学習理論)
- 隠れマルコフモデルによる混合動作の認識
- 変分ベイズ法による混合指数型分布を用いたクラスタリング法(一般(ベイズ法など),脳インタフェースの技術と応用,一般)
- 特異的なモデルにおける局所化ベイズ学習法
- ランジュバン方程式を用いたベイズ学習の特異モデルにおける挙動について(確率モデル,統計,学習,神経ダイナミクス,一般)
- 完全2部グラフ型ボルツマンマシンの代数幾何
- 完全2部グラフ型ボルツマンマシンの代数幾何
- 混合分布モデルにおける確率的複雑さの解明
- 特異点をもつ推論モデルの学習曲線の確率的計算法
- 特異点を持つ推論モデルの確率的学習精度計算アルゴリズム
- 非定常時系列予測のための学習データの選択法
- 情報量の測り方による近似事後分布の性質の相違について
- 混合指数型分布の変分ベイズ学習における確率的複雑さ
- ベーテ自由エネルギーに対するCCCPアルゴリズムの拡張
- 25pPSB-4 菊池自由エネルギーに対するCCCPアルゴリズムの拡張(ポスターセッション,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 正規分布におけるベーテ近似の解析解と数値解(機械学習,一般)
- ガウシアン確率伝搬の近似精度に対する理論解析(生体信号の計測と解析,一般)
- 完全2部グラフ型ボルツマンマシンの平均場近似による確率的複雑さについて(情報理論)
- 一般ボルツマンマシンにおける平均場近似自由エネルギーの漸近的挙動
- 完全2部グラフ型ボルツマンマシンにおける平均場近似自由エネルギーの漸近的挙動
- マルチエージェント環境におけるコミュニケーションの発生とその分析
- 交換モンテカルロ法における交換率とカルバック距離の関係について(ベイズ情報処理,ベイズ情報処理及び一般)
- 特異モデルのベイズ学習における交換モンテカルロ法について
- 神経回路網の学習におけるパラメータ配置の最適化法
- RBFネットワークのベイズ推測における特異点近傍での汎化誤差について
- 変分ベイズ学習において情報源の構造がクロスヴァリデーションに与える影響について
- 周辺尤度計算におけるパラメータ空間と隠れ変数空間の比較
- 混合正規分布におけるベイズ法と変分ベイズ法の相違について
- 神経回路網におけるベイズ学習規準DICとWAICの比較
- 神経回路網におけるベイズ学習規準DICとWAICの比較
- カルバック情報量の分割による特異モデルの汎化誤差計算法(パターン認識)
- ベイズ事後分布の最適近似法の提案と有効性について
- 変分ベイズ学習におけるハイパーパラメータの汎化誤差への影響について(確率モデル,統計,学習,神経ダイナミクス,一般)
- 逐次的な重点サンプリングを用いたWAIC計算法 (情報論的学習理論と機械学習・第15回情報論的学習理論ワークショップ)
- WAICを用いた無限混合ガウスモデルのハイパーパラメタ選択(ベイズ統計モデル,統計推理,データベース,一般)
- 特異モデルにおけるベイズ法の学習誤差と汎化誤差の関係について
- 数理物理学と学習理論(量子解析におけるミクロ・マクロ双対性)
- 学習理論における汎化誤差の漸近挙動について(情報物理学の数学的構造)