しきい値揺らぎを利用した多層パーセプトロンの並列相関学習法

概要

論文の詳細を見る
誤差逆伝搬法と異なる並列相関学習法を提案する.本学習法は,各ユニットの出力が内部活性値に関して微分可能で,出力誤差関数が可視ユニットの出力群に関して偏微分可能な,フィードフォワード形ニューラルネットに適用できる.学習のために,各ユニットのしきい値に,小振幅,不偏,独立,等分散の時間的揺らぎ成分n_k(t)(k:ユニット番号)を導入する.n_k(t)のため誤差関数値も時間変動を有し,e(p,t)(p:学習標本番号)と表せる.このとき,e(p,t)とn_k(t)の相関値<e(p,t)n_k(t)>と,ユニットkへ直接結合しているユニット群の出力平均<q_k(p,t)>のみによって表される,結合係数W_kの修正式Δ_pW_k=-ξ<e(p,t)n_k(t)><q_k(p,t)>によって,全揺らぎ成分が停止した状態での誤差を最急降下させ得ることを理論的に示す.本学習法では,誤差関数やユニットの非線形関数の形,および層構造を意識することなく,すべての結合係数を並列的に修正可能である.また,XOR課題に関するシミュレーションによって学習可能性を検証する.
社団法人電子情報通信学会の論文
1995-01-25