ヘシアン行列を用いた忘却抑制法

概要

論文の詳細を見る
時刻とともに与えられるデータを学習し予測を行う機構として階層型神経回路網が用いられる. その際, 一般的に, 学習に用いる訓練データを多くするほど, そのために必要となる計算時間は増大することから, 与えられるデータのすべてを学習に用いることは現実的ではない. そのため, 計算時間を短縮するためにデータウィンドウを設け訓練データ数を制限する場合が多い. しかし, その場合は, 過去の学習によって獲得された情報が, 新たな学習によって大きな影響を受け, 獲得された情報がネットワークから失われるという問題が生ずる. 本論文では, 学習が終了した時点での誤差を表す関数の形状に着目する. すなわち, 学習終了時, 誤差を表す関数の形状は過去の学習処理を反映しており, その関数の特徴を保持しながら次の学習処理を進めることで過去の情報が保持できるものと考える. そこで, 学習終了後の誤差を表す関数を2次関数で近似し, 新たな学習処理によって変化する重みの方向を制限することによって, 上記のような忘却を抑制する手法を提案する. 提案手法を, sin関数やカオス系列の学習, 及び試行錯誤によって目標を探索する問題に適用し, その結果従来手法より忘却現象が抑制され, 効率的な学習が可能となることを示す.
社団法人電子情報通信学会の論文
1999-07-25

ヘシアン行列を用いた忘却抑制法

スポンサーリンク

概要

著者

関連論文

スポンサーリンク