相関等式を用いたボルツマンマシンの決定論的近似学習アルゴリズム(人工知能,データマイニング)
スポンサーリンク
概要
- 論文の詳細を見る
ボルツマンマシンはマルコフ確率場の形式をとる確率的ニューラルネットワークの一つであり,パラメトリック機械学習の重要なモデルの一つである.しかしボルツマンマシンの厳密な学習アルゴリズムは一般にシステムの次元に対して指数的な計算コストを必要としてしまう.近年Hintonによりcontrastive divergenceと呼ばれる強力な近似学習アルゴリズムが提案され,多くの学習問題に適用されてきている.しかしながらcontrastive divergenceにはアルゴリズムの収束などに関しての理論的な保証がほとんどなく,実用的には確率的なサンプリング法を必要とするためアルゴリズムが分散をもってしまうという欠点がある.そこで本論文では相関等式と呼ばれる定式化を用いてボルツマンマシンに対する新しい近似学習アルゴリズムを提案する.提案学習アルゴリズムはボルツマンマシンの学習の問題を単純な凸最適化問題へと近似することにより得られる.そのアルゴリズムは観測データ点に対して決定論的に解を与えるものであるため実装には便利である.また提案学習アルゴリズムの性能はcontrastive divergenceやYasuda and Tanakaにより提案されたloopy belief propagationを用いた学習アルゴリズムの性能を多くの場合で上回ることを人工データに対する数値実験を用いて示す.
- 2010-11-01
著者
-
田中 和之
東北大学大学院情報科学研究科応用情報科学専攻
-
安田 宗樹
東北大学大学院情報科学研究科応用情報科学専攻
-
安田 宗樹
東北大院情報科学
-
田中 和之
東北大学大学院情報科学研究科
-
安田 宗樹
東北大学大学院情報科学研究科
-
安田 宗樹
東北大学大学院情報科学研究科:学振
関連論文
- 20aEA-3 確率伝搬法による確率的画像処理におけるEMアルゴリズムの統計解析(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 20pEA-1 適応TAP方程式の摂動近似としての再解釈(20pEA ニューラルネットワーク1(情報統計力学を含む),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 1.確率的画像推論と統計的学習理論の基礎と最近の展開(ビジョンコンピューティングにおける確率的情報処理の展開)
- 小特集編集にあたって(ビジョンコンピューティングにおける確率的情報処理の展開)
- 相関等式を用いたボルツマンマシンの決定論的近似学習アルゴリズム
- 室内における幼児の行動予測のための確率的因果構造モデルの学習と推論
- スケールフリーネットワーク上のガウシアングラフィカルモデル
- ポートフォリオ最適化問題の情報統計力学 (情報論的学習理論と機械学習)
- 確率伝搬法を用いたEMアルゴリズムによる画像処理
- 相関等式を用いたボルツマンマシンの決定論的近似学習アルゴリズム(人工知能,データマイニング)
- パケットペイロード長の発生確率に基づいたネットワークアプリケーション識別 (ニューロコンピューティング)
- 確率的画像処理におけるハイパパラメータ推定の統計的解析
- 25pTD-7 1RSBを考慮したTAP方程式を用いた感受率伝搬法(25pTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- ペイロード長遷移パターンの順序性評価によるネットワークアプリケーション識別(インターネット運用・管理,一般)
- 25pTD-9 ポートフォリオ最適化問題に対する確率伝搬法アルゴリズム(25pTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- スパース正則化項をともなうマルコフ確率場における確率伝搬法(BCI/BMIその周辺,一般)
- 確率的画像処理フィルタ(アイ・サイ問答教室)
- 25aQL-5 レプリカ拡張系適応的TAP方程式を用いた学習アルゴリズム(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- パケットペイロード長の発生確率に基づいたネットワークアプリケーション識別(BCI/BMIその周辺,一般)
- 14pTD-9 クラスター変分法を用いたボルツマンマシンの学習(情報統計力学, 領域 11)
- 29pWB-15 情報スピン系に対するクラスター変分法II(神経回路・情報統計力学)(領域11)
- 29pWB-12 情報スピン系に対するクラスター変分法I(神経回路・情報統計力学)(領域11)
- ポートフォリオ最適化問題の情報統計力学(IBIS2010(情報論的学習理論ワークショップ))
- I-067 画像補修アルゴリズムの再定式化とパラメータ推定法(I分野:グラフィクス・画像)
- 改良された感受率伝搬法(IBIS2010(情報論的学習理論ワークショップ))
- Advanced susceptibility propagation (情報論的学習理論と機械学習)
- 25aQL-2 確率伝搬法による画像修復の統計的性能評価法(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- ビリーフプロパゲーション法を用いたボルツマンマシンの学習アルゴリズム
- 30pTF-8 レプリカ拡張系に対する適応的TAP方程式の統計的学習理論への応用(30pTF 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 22pVC-9 隠れ素子をもつボルツマンマシンに対する平均場理論(22pVC 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 21aTL-6 定義域が制限された連続確率変数を持つボルツマンマシン(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 大規模確率場と確率的画像処理の深化と展開
- 大規模確率場と確率的画像処理の深化と展開
- 30pTF-5 クラスター変分法を用いた一般化された確率伝搬法の拡張(30pTF 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 14p-H-9 クラスター変分法によるハバード模型
- 大規模統計モデルにもとづく情報処理 : モノの理とコトの技の接点
- LI_018 ガウシアングラフィカルモデルを用いた画像補修アルゴリズム(I分野:画像認識・メディア理解)
- 28aWJ-7 Q 状態イジング模型を用いた多値画像修復における周辺尤度最大化によるハイパパラメータ推定
- 28aWJ-4 Q 状態イジング模型を用いた多値画像修復に対する EM アルゴリズムによるハイパーパラメータ推定のダイナミックス解析
- 30aYD-10 可解確率場模型に基づくハイパーパラメータ推定へのベイズ統計的アプローチ
- D-2-12 画像修復における可解マルコフ確率場モデルのハイパパラメータ推定
- ベイズ統計に基づく画像修復アルゴリズムの動的性質
- 24pWD-5 周辺尤度最大化法による巨視的パラメータ推定の統計力学的精度評価
- D-2-13 ベイズ統計における周辺尤度最大化法によるハイパパラメータ推定の統計的性能評価
- 20pWD-5 プレフカ展開における一般化された平均場近似の性能評価(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 22pVC-12 平面グラフ上の閉路と確率モデル(22pVC 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 1. 序文 : 確率・統計モデルが切り開く推論と学習の新しいパラダイム(確率を手なずける秘伝の計算技法-古くて新しい確率・統計モデルのパラダイム-)
- LF-014 画像修復における確率伝搬法を用いたEMアルゴリズムについての一考察(人工知能・ゲーム)
- 統計力学的手法にもとづくマルコフ確率場モデルにおける近似最適化アルゴリズム (「産業におけるソフトコンピュ-ティングに関する国際会議'99」発表論文選集)
- 12a-H-7 次近接相互作用を持つS=1イジング模型の臨界現象のクラスター変分法とによるCAM評価
- 30pUA-12 Plefka展開における相関と線形応答理論(30pUA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 30aRD-6 ランダム性のある壺モデルの解析(30aRD 確率過程・確率モデル(パーコレーションを含む),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 19pYO-7 Plefka展開のクラスター変分法的解釈(情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 21pTQ-9 線形応答理論と平均場近似を用いた多値ボルツマンマシン
- 28aTD-11 改良された感受率伝搬法(28aTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- A_019 混合のエントロピーを利用したコミュニティ検出アルゴリズム(A分野:モデル・アルゴリズム・プログラミング)
- 12a-H-6 フラストレート2次元スピン-1イジングモデルに対するモンテカルロ繰り込み群法
- 29p-PSA-35 非普遍的相転移のスピン依存性
- 22aGA-7 ランダム欠損を利用した画像圧縮法(22aGA 情報統計力学2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- ガウシアングラフィカルモデルに基づく確率的情報処理における一般化された信念伝搬法(バイオサイバネティックス, ニューロコンピューティング)
- 21pGU-8 オンサガー項を考慮した感受率伝搬法の改良とその一般化(21pGU 情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 位相をライン場及び領域場としてもつ結合マルコフ確率場モデル(情報論的学習理論論文小特集)
- 項目間の相関を考慮した項目応答理論 (ニューロコンピューティング)
- 15a-H-12 スピン1以上の厳密に解ける1次元量子スピン系
- カラーチャンネル間の相関を考慮したGaussian FoEモデル(ポスターセッション,第14回情報論的学習理論ワークショップ)
- 26aXD-8 画像処理における確率伝搬法を用いたEMアルゴリズムの統計解析(26aXD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 項目間の相関を考慮した項目応答理論
- 27pAG-6 圧縮センシングを用いた画像補修モデリング(27pAG 情報統計力学2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- カラーチャンネル間の相関を考慮した Gaussian FoE モデル
- 確率的グラフィカルモデル : ベイジアンネットワークとその周辺(グラフと確率・統計モデル)
- 18pAA-2 スパース相互作用をもつ事前分布と確率伝搬法によるベイジアンモデリング(18pAA 情報統計力学2,ニューラルネットワーク,数値計算アルゴリズム,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 18pAA-1 マルコフ確率場に対する直交関数展開を用いたプレフカ展開法(18pAA 情報統計力学2,ニューラルネットワーク,数値計算アルゴリズム,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 2部グラフ型ボルツマンマシンに対する複合最尤法(BCI/BMIとその周辺,一般)
- ガウシアングラフィカルモデルを用いた確率的画像補修フィルタの設計(BCI/BMIとその周辺,一般)
- 27aXZD-9 画像処理のための高次マルコフ確率場に対する平均場法(27aXZD スピングラス・ランダムスピン系・情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 通信特性に基づいた ウェブアプリケーション識別に関する一考察(ポストIPネットワーキング,新世代ネットワーク,ネットワークモデル,インターネットトラヒック,TCP/IP,マルチメディア通信,ネットワーク管理,リソース管理,プライベートネットワーク,NW安全性及び一般)
- 24pXY-2 クラスター変分法にもとづく確率伝搬型アルゴリズムの性能評価(24pXY ニューラルネットワーク,情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理分野))
- 27aKG-2 条件付き確率場を用いた画像の領域分割(情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 18aAA-10 マルコフネットを用いた交通量の統計的予測(18aAA 情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- トラヒック解析に基づいたウェブアプリケーション識別(ポストIPネットワーキング,次世代・新世代ネットワーク(NGN),障害対策・BCP,ネットワークコーディング,セッション管理(SIP・IMS),相互接続技術/標準化,ネットワーク構成管理及び一般)