ニューラルネットワークにおける誤差逆伝播法の学習性能向上のための重み初期値の設定方法

概要

論文の詳細を見る
誤差逆伝播法は,多層前向きニューラルネットワークの学習に広く用いられている.しかし,誤差逆伝播法については,解が収束するのに要する時間が長く,解が収束しない場合があるという学習性能上の問題点がある.誤差逆伝播法の学習性能は重みの初期値に敏感であり,適切な重みの初期値を設定することにより,学習性能を向上させることができる.本論文では,ノードにおける情報伝達機構を表す式に基づいて,適切な大きさの重みの初期値を設定する新しい方法(OIVS法:Optimal Initial Value Setting Method)を提案している.数値実験によると,OIVS法は従来法にくらべて,解が安定して得られ,収束するのに要する反復回数が少なく,学習性能が著しく優れていることが分かった.たとえば,ランダム写像問題については,それぞれの方法で最も良い学習性能が得られた場合を比較すると,OIVS法は従来法に比べて,解が収束するのに要した反復回数の平均値は0.26倍,標準偏差は0.039倍となっている.OIVS法の特徴は,問題(入力次元数)に応じて適切な大きさの重みの初期値を設定できること,アルゴリズムがきわめて簡単であること,ノードごとに局所的な計算で設定できることである.
一般社団法人情報処理学会の論文
1994-10-15