平均場近似を用いたHelmholtz Machineの学習

概要

論文の詳細を見る
高次元データから特徴抽出を行って低次元データや二値化するなどコンパクトな表現に置き換えることがしばしば行われる。コンパクトな特徴表現は、データの圧縮や視覚化や学習を行う際の過学習の回避や、学習の高速化に有用である。HintonとSalakhutdinov[8]は、数百万のパラメータをもつ階層型restricted Boltzmann machine(RBM)の学習にcontrastive divergence(CD)に基づく初期学習を適用することで、主成分分析よりも優れた圧縮性能を実現する特徴抽出法を提案した。CDを用いた学習では、素早い学習を実現する一方、コスト関数が不明なため、パラメータ更新時に適当なステップサイズを使わざるを得ないという問題があり、改善の余地があると考えられる。本報告では、Helmholtz Machine(HM)に対して平均場近似を用いた学習アルゴリズムを導出し、コスト関数とそのパラメータ勾配の両方を評価可能な学習則を提案する。また、この学習則が特定の条件の下でRBMのCDによる学習則に一致することを示す。
2009-03-04