階層型ニューラルネットワークの学習におけるノイズ重畳に関する解析と検証(知識処理)

概要

論文の詳細を見る
本論文では正規ノイズや一様ノイズの付加によって生じる階層型ニューラルネットの中間素子と出力素子の出力の変化が,ニューラルネットの出力に与える影響について解析的・実験的に考察する.まずノイズ重畳に関する定性的な解析を行い,学習初期においてはノイズの影響を大きく受けて素子の出力が不確定な状態に戻される逆方向の学習と,再学習が繰り返されるような探索的な進展が見られることを明らかにする.また,学習の最終局面ではノイズ重畳による素子出力の変位が小さくなると同時に,素子出力が0と1の確定的な値となるような影響を受けることを示す.さらに,解析的な考察を実験的に理解するため,入力へのノイズ重畳と未知データに対する汎化能力との関係を調べる手書き文字データベースETL9Bの認識実験を行い/学習後の中間素子の平均的な出力とニューラルネットの構造化について検討する.実験の結果,学習初期においてはノイズの影響を受けて擬似的な学習データの増加と探索的な振舞いが生じ,学習の最終局面では素子の出力が0か1の確定的な値となるように構造化され,汎化能力の向上が期待できることが確認された.
一般社団法人情報処理学会の論文
2004-05-15