メタ情報の学習による追加学習の高速化

スポンサーリンク

概要

論文の詳細を見る
ニューラルネットワークによる追加学習では,新しいデータの学習によって過去の学習内容が干渉を受けて忘却してしまうという問題点がある.これを防ぐために,バッファに過去に提示されたデータを一時的に保存し,新しいデータと共に学習する手法がこれまでに幾つか提案されてきた.しかし,バッファが一杯になればデータの一部を破棄せざるを得ず,必要なデータがバッファから消えてしまう場合がある.また,バッファの内容を学習する時間がどうしても必要となるという問題が残っている.そこで本研究では,追加学習タスクを繰り返すうちに追加学習戦略を学習するメタ学習を行うネットワークを付加し,パラメータを一撃で解の近くに移動させ,残りは小数回の勾配法の適用でパラメータを局所最適解に移動させる手法を提案する.ベンチマークテストの結果,メタ学習の利用によって学習回数と汎化誤差の減少が確認された.
2002-03-12

著者

関連論文

もっと見る

スポンサーリンク