因子分析の統計力学 : Wake-Sleep Algorithmのダイナミクスの解析
スポンサーリンク
概要
- 論文の詳細を見る
Wake-Sleep Algorithmは非対称の結合をもつ多層型ネットワークであるHelmholtz machineにおける学習のために考案されたHebb型の確率的近似法である. いくつかの実験報告はあるものの推定値の収束性など理論的な側面については簡単なモデルにおいてさえもあまり明らかされていない. 本論文では, 1因子モデルの因子分析問題をとりあげ, WS algorithmのダイナミクスの性質について統計カ学的解析を行う. まず, 学習係数が0の極限における推定値が最尤推定値(MLE)に一致することを示し, さらに学習係数が有限である場合の影響についても明らかにする.
- 社団法人電子情報通信学会の論文
- 1999-03-19
著者
関連論文
- How to correct errors in biological information processing : A suggestion from state of the art error correcting codes(シグナル伝達と符号暗号) (Applied discrete dynamics in molecular cell biology)
- 20aEA-5 誤り訂正符号を用いた電子透かし(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 20aEA-10 疎なランダム行列の第1固有値に関するcavity解析(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 20aEA-13 二極分布ランダムネットワークの頑強性の統計力学的評価(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 27aQF-3 磁場あり疎結合スピングラス模型に関する帯磁率行列の固有値分布について(スピングラス,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 20aVC-4 モンテカルロ法による磁場あり疎結合スピングラスモデルのAT解析(20aVC スピングラス,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 21aTL-3 磁場あり疎結合スピングラス横型におけるBethe近似を用いたAT解析(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- CCCPに基づくCDMAマルチユーザ検出アルゴリズム(バイオサイバネティックス,ニューロコンピューティング)
- CCCPに基づくCDMA検出アルゴリズム
- 20aVC-10 複素レプリカ変数に関する零点と種々の相転移との関係(20aVC スピングラス,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 26pWF-8 複素レプリカ平面における分配関数の零点の性質 : RSBを伴う場合(スピングラス・ランダムスピン系,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 25aQL-4 単純パーセプトロンの有限レプリカ解析とComplexity(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- M. Mezard and A. Montanari, Information, Physics, and Computation, Oxford Univ. Press, New York, 2009, xiii+569p, 25×18cm, $99.00, (Oxford Graduate Texts), [専門・大学院向], ISBN978-0-19-857083-7
- 22pVC-14 重み一定の疎なランダム行列の漸近固有値分布(22pVC 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 21pTQ-4 有限符号長ギャラガー符号の性能評価
- 27aQF-5 ランダムエネルギーモデルのレプリカ数に対する解析性 : リーヤンゼロの視点から(スピングラス,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 圧縮センシングへの統計力学的アプローチ
- 30aWB-11 ひずみありデータ圧縮に対する統計力学的アプローチ(情報統計力学)(領域11)
- 統計力学的手法に基づくひずみありデータ圧縮の誤り指数評価(統計的学習理論及び一般)
- 28aWJ-8 ひずみありデータ圧縮における誤り指数の統計力学的評価
- 低密度パリティ検査符号を用いたブロード・キャスト通信の統計力学
- 18pRD-10 Gallager符号における"解ける"復号アルゴリズム
- 18pRD-9 レプリカ法を用いたGallager符号の信頼性関数評価
- 22pTE-1 ガロア体上低密度パリティ検査符号の統計力学的解析
- 27pU-9 Q進数Sorlas符号の統計力学的解析
- 25pQK-13 Compressed sensingの統計力学的解析(ネットワーク一般・情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 2元行列アンサンブルの見逃し誤り確率の平均誤り指数(LDPC符号,一般)
- 歪み有りデータ圧縮の統計力学
- 25pTD-12 1RSB仮定における適応TAP方程式(25pTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25pTD-7 1RSBを考慮したTAP方程式を用いた感受率伝搬法(25pTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25pQK-12 正解が埋め込まれたグラフ等分割問題の統計力学的解析(ネットワーク一般・情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 25pTD-13 2元行列アンサンブルの見逃し誤り確率の平均誤り指数(25pTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 20pWD-7 イジングスピン系のベーテ自由エネルギー逐次的最小化(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 26aXD-10 3体相互作用イジング模型におけるTAP自由エネルギーの最適化法(26aXD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 収束を保証した自由エネルギーの極小解探索法(「機械学習によるバイオデータマインニング」及び「一般」)
- 27pRD-8 自由エネルギー降下原理に基づくTAP方程式の解法(27pRD スピングラス・ランダムスピン系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 19pYO-8 自由エネルギー降下原理に基づく平切場方程式の解法(情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 30aWB-10 CCCPに基づくCDMA検出アルゴリズム(情報統計力学)(領域11)
- 20aEA-8 自由エネルギー降下に基づいた1RSB平均場近似解の探索(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25pQK-11 ランダムネットワーク上における情報伝達の可否についての統計力学的評価(ネットワーク一般・情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 25aQL-5 レプリカ拡張系適応的TAP方程式を用いた学習アルゴリズム(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 25aQL-3 LDPC符号を用いた電子透かし法(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 低密度パリティ検査符号を利用した公開鍵暗号方式 (特集 電子社会とセキュリティ技術--暗号と個人認証を中心に)
- 21aTL-4 ランダム特異値分解仮定に基づくパーセプトロン/ベクトルチャネルモデルの平均場解析(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 23aWD-13 隠れ変数を導入した非単調パーセプトロンの学習
- 27pU-3 隠れ変数を導入した非単調パーセブトロンの学習
- Wake-Sleepアルゴリズムの動的解析(情報論的学習理論論文小特集)
- 因子分析の統計力学 : Wake-Sleep Algorithmのダイナミクスの解析
- 26a-H-12 因子分析の統計力学
- 30pTF-8 レプリカ拡張系に対する適応的TAP方程式の統計的学習理論への応用(30pTF 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 大規模統計モデルにもとづく情報処理 : モノの理とコトの技の接点
- スピングラス理論と機械学習
- 22pTE-2 低密度パリティ検査符号を利用した公開鍵暗号
- 27pU-8 高速に符号化/複号化できる誤り訂正符合の構成
- 低密度パリティ検査符号の統計力学的解析
- 26a-H-11 Gallager符号の統計力学
- 通信路符号化におけるGallager上界とレプリカ法(シャノンの論文から60年)
- スパースネットワークを用いた誤り訂正符号化法
- 26a-H-10 TAP方程式を用いたSourlas符号の複合化
- 21aWA-6 結合された温度の異なる2つのランジュバン方程式で記述される系の定常状態の研究(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- An Exact Analytic Continuation to Complex Replica Number in the Discrete Random Energy Model of Finite System Size
- 単一サンプル系に関するレプリカ法とレプリカ対称性の破れについて(情報物理学の数学的構造)
- 28aWA-13 エネルギー(適応度)眺望における相関がレプリカ対称性の破れに与える影響(スピングラス・ランダムスピン系)(領域11)
- グラフィカルモデルと平均場近似
- 情報統計力学とは何か : 情報学でもMore Is Different(ベイジアンネットワークと確率的情報処理の新展開)
- 1. 序文 : 確率・統計モデルが切り開く推論と学習の新しいパラダイム(確率を手なずける秘伝の計算技法-古くて新しい確率・統計モデルのパラダイム-)
- 22pVC-8 直交例題におけるパーセプトロンの汎化能力評価(22pVC 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 21aTL-5 入力パターンに統計的に相関がある場合の学習性能評価(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 26aXD-2 Z channelに対する非線形符号を用いた誤り指数の解析評価(26aXD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 30pUA-7 2元非対称通信路における非単調percetronを用いた誤り訂正符号の解析(30pUA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 26pTD-6 スピンモデルを用いた評価表現辞書構築における精度改善法(26pTD ネットワーク一般2・生物・生態系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25aTE-2 スピングラス模型における平均場方程式の解空間(25aTE スピングラス・ランダムスピン系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 28aTD-6 疎行列に基づく圧縮センシング : キャビティ法による信号復元アルゴリズム(28aTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- Statistical Mechanical Approach to Error Exponents of Lossy Data Compression(Cross-disciplinary Physics and Related Areas of Science and Technology)
- 非単調(閾値関数をもつ)ネットワークの汎化能力(基研研究会「ニューラルネットワーク〜これからの統計力学的アプローチ〜」,研究会報告)
- 非単調な入出力関係の学習曲線-統計力学的解析
- 7p-YD-3 非単調ネットワークの学習曲線
- コトの物理学
- 22pVC-4 平均場アルゴリズムによる送信電力低減プリコーディング(22pVC 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 20aVC-3 ベーテ格子上の磁場ありスピングラスモデルにおけるAT線と大偏差統計(20aVC スピングラス,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 居酒屋にて
- 25pRJ-8 長方行列に対するItzykson-Zuber積分の一般化について(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 領域11「量子系におけるコトの物理学」(2007年春季大会シンポジウムの報告)
- 統計力学的アプローチのココロ
- Statistical Mechanics of Source Coding with a Fidelity Criterion
- Exact Analytic Continuation with Respect to the Replica Number in the Discrete Random Energy Model of Finite System Size (Condensed Matter and Statistical Physics)
- 疎に結合した写像系の解析
- 23aXD-10 レプリカ拡張に基づくAT線のモード解析(23aXD スピングラス・ランダムスピン系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 27pRD-7 レプリカ拡張に基づいたAT条件の考察(27pRD スピングラス・ランダムスピン系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 21pGU-5 OFDMモデルにおけるキャリア間干渉除去のための平均場近似アルゴリズム(21pGU 情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 22aGA-8 到来方向推定法への統計力学的アプローチ(22aGA 情報統計力学2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 21pGU-4 高精度な評価表現辞書構築への統計力学的アプローチ(21pGU 情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 30p-YJ-12 ランダムネットワークを用いた誤り訂正符号化法
- 20aRD-3 疎に結合した写像系の解析
- 21pGU-3 L1ノルム最小化による疎なノイズの除去(21pGU 情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 30pUA-8 p-体MultiSpin Interactionに基づいた符号の研究(30pUA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- TAP平切場近似による誤り訂正符号の復号化(多体問題としての情報処理-統計力学と情報科学の接点-,研究会報告)
- シャノンの定理を物理のモデルを通して眺める(モデリング-さまざまな分野,さまざまな視点から-)
- 21pWA-1 はじめに:コトの物理学-古典から量子へ-(シンポジウム 量子系におけるコトの物理学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 12項 More is differentの話(4節 通研講演会,第5章 国際会議・シンポジウム等)