多項式ボルツマン機械
スポンサーリンク
概要
- 論文の詳細を見る
確率分布を推定することは,パターン認識等のために重要な問題である。ポルツマン機械はこの問題を解決するための有力な手法である。本論文では、多植状態を持つ素子で構成されるポルツマン機械を考える。多値ポルツマン機械のエネルギー式E(x,w)はE(x;w)≡-Σ__<c∈C>ω_<cχc>(x), (1) χ_c(X)≡Π__<i∈c>x_iで与えられる。ここで、Nをポルツマン機械が持つ素子の数とする。x_iは第i番目の素子の状態である。x≡(x_i)^N_<i=1>はポルツマン機械の全ての素子の状態を表すN次元状態ベクトルである。Cは{1,...,N}の冪集合の部分集合である。cはCの要素で、{1,...,N}の部分集合である。ω_c∈Яは重みと呼ばれ、w≡(ω_c)_<c∈C>は全ての重みを表すベクトルである。χ_c(x)は重みω_cのアクティベーションと呼ばれる。各々のc∈Cに相当する素子の集合はクリック(clique)と呼ばれる。最初に提案されたポルツマン機械では、クリックが素子を高々二つしか含まないが、その後提案された高次結合ポルツマン機械ではが素子をN個まで含むように拡張された。ボルツマン機械が表現しようとする確率分布はq(X;W)≡exp(-E(X;W))/Σ_<x∈X>exp(-E(X;W)) (3)である。ここでXはxの全体である。この分布の標本列を生成するためにGibbs標本化によって素子状態x_iを更新する。Xの全ての点で0でない確率分布p(x)の全体をΦとする。XとCが与えらりとき、wを適当に選ぶことによって、式が任意のp∈Φを表現できることをポルツマン機械が完全表現能力を持つという。xが2値の場合、完全表現能力を持つようなCが存在するが、xが多値の場合、そのようなCは存在しない。この問題を解決するために、本論文では、従来のポルツマン機械を拡張した多項式ポルツマン機械(PBM)を導入する。さらに、Kullbackダイバージェンスを用いた学習アルゴリズムの収束経路を解析し、隠れ素子に含まない場合は学習がダイバージェンスの最小点に必ず収束することを示す。
- 社団法人電子情報通信学会の論文
- 1995-03-27
著者
関連論文
- 再帰型高次結合ニューラルネットワークによる正規言語の学習
- 全運動軸点推定の数学モデル
- Active Learning for Maximal Generalization Capability (Applications of the theory of reproducing kernels)
- 二値回帰問題のための新しいカーネルの提案
- D-11-97 劣化した印刷画像の画質改善
- D-2-6 訓練入力に雑音が含まれる場合の汎化誤差の推定
- AP-6-1 標本化と量子化(AP-6.信号・画像の離散化、特に量子化法についての討論-OK量子化理論とその展望-,パネル討論,ソサイエティ企画)
- 関数解析的学習理論 (函数解析学と数理情報の接点)
- D-2-2 モデル選択基準Corrected Subspace Information Criterionの理論的性能評価
- 信号処理に帯域通過型標本化定理を応用した光干渉式高速表面形状測定装置
- Subspace Information Criterionによる画像復元フィルタのパラメータ最適化
- 標本点とモデルの同時最適化
- NLP2000-32 / NC2000-26 標本点とモデルの同時最適化
- 帯域通過型標本化定理を用いた白色光干渉による表面凹凸形状の高速測定
- 最適汎化ニューラルネットワークの誤差最小構成法
- 相対KL変換法によるパターン認識
- 相対KL変換法によるパターン認識
- 相対KL変換法によるパターン認識
- 最大差型部分空間法によるパターン認識
- 帯域制限波形空間多重解像度解析のよるシャノンウェーブレットフレーム
- 信号・画像推定のための射影フィルタ族の統一理論
- 各種最適画像復元フィルタの相互関係
- 最適画像復元フィルタと一般逆
- 画像空間の位相と最適画像復元フィルタ
- 最適画像復元フィルタと一般逆 : 画像処理・コンピュータビジョン
- ウェーブレット解析による3次元物体認識
- 部分空間法による読唇
- 自己相似タイリング多重解像度解析とそのウェーブレット基底による実現
- レーザプリンタの自動判別について
- 非定常信号の実時間復元
- 単一断線故障を修復可能な最適汎化ニューラルネットワーク
- 記憶学習の射影学習族に対する適応可能性
- 射影学習族
- D-2-27 単一断線故障が生じたニューラルネットワークの最適汎化能力の復元
- D-2-25 射影学習族と最小分散型射影学習
- 射影学習族
- 教材の追加・削除による記憶学習の射影学習に対する最適許容化
- 雑音を含んだ訓練データに対する誤り修正型記憶学習
- 射影学習族の記憶学習に対する許容性
- 教材の追加による過学習の抑制
- 誤り修正型記憶学習
- 雑音が存在する場合の射影学習の記憶学習に対する許容性
- 射影学習の記憶学習に対する許容性
- 東工大における画像処理研究動向 : 小川研究室,酒井・吉田研究室,中嶋・亀井研究室 : 画像処理・コンピュータビジョン
- 単一断線故障を修復可能な最適汎化ニューラルネットワークの構成法
- バイアスの推定とモデル選択
- D-2-24 最良線形不偏推定の拡張としての射影学習
- 訓練データの雑音抑制と汎化能力
- 射影学習による手書き数字認識
- 最適汎化のための逐次型能動学習
- バイアスを考慮した逐次型能動学習
- 最適汎化のための射影学習族の追加学習
- D-2-26 三角多項式ニューラルネットワークの能動学習
- 射影汎化ニューラルネットワークの追加学習
- 三角多項式モデルを用いた訓練データの最適設計
- 雑音抑制のための能動学習
- 雑音抑制のための能動学習
- 白血球抗原(HLA)自動検査システムの開発
- 特集「画像処理エキスパートシステム」の編集にあたって
- 最適汎化能力をもったニューラルネットワークの追加学習
- 最適汎化能力をもった神経回路網の追加学習
- 最適汎化ニューラルネットワークの最適構成法
- 最適汎化ニューラルネットワークの最適構成法
- 適応型射影追加学習
- 多項式ボルツマン機械
- 過学習を起こさない教材の選び方
- 雑音を考慮した過学習の理論
- 過学習の理論
- 擬似双直交性理論とその応用 (再生核の理論とその応用)