パターン認識用ニューラルネットの学習高速化手法

概要

論文の詳細を見る
手書き漢字認識のシミュレーションを通して,パターン認識用3層ニューラルネットの学習高速化手法を提案し,効果を検証した.最初に,任意の特徴ベクトルからなる入力標本群を各ユニットの活性領域に再配置できる初期値修正法を示し,出力層ユニットjの学習パターンpに対する出力O^p_jと教師信号t^p_jの2乗誤差1/2・Σ^^p__<p=j>Σ^^J__<j=1>(O^p_j-t^p_j)^2を用いる,従来の誤差逆伝搬法に適用した.その結果,学習初期に生じる停滞状態からの回復に時間を要し,初期値の設定のみでは学習特性を十分改善できないことがわかった.次に,この学習停滞は,ユニットjに割り当てられたt^p_j={1,0}のpに関する分布d_j(t^p_j)が,大規模化に伴い,d_j(1)《d_j(0)となり,学習初期にO^p_j≒0の非活性領域に偏移・集中するため,生じるものと推論した.最後に,文字ごとの学習パターン数が等しい場合,t^p_jに応じた係数a^p_j={J/2:t^p_j=1,J/(2・(J-1)):t^p_j=0}によって荷重された誤差1/2・Σ^^p__<p=j>Σ^^J__<j=1>(O^p_j-t^p_j)^2に前記の初期値修正法を併用することにより,学習初期から,出力層と中間層の各ユニットの出力群が活性領域の中心から対称的に解難し始めるようになり,非常に高速かつ安定に学習動作を行わせ得ることを確認した.
社団法人電子情報通信学会の論文
1994-01-25

パターン認識用ニューラルネットの学習高速化手法

スポンサーリンク

概要

著者

関連論文

スポンサーリンク