non-iid パターンのモデル選択付き学習

概要

論文の詳細を見る
神経回路のオンライン学習では、提示されるサンプルが独立且つ同一の分布(i.i.d)から発生することを仮定しなければ正確に学習できない。しかし、一般には逐次的に提示されるサンプルが上記の条件を満たすとは限らない。このようなデータを、神経回路に対して学習させると、過去に記憶した事柄を忘却するという問題が生ずる。この現象はCatastrophic forgettingと呼ばれ、この解決を目指す手法が多く提案されている。その多くは、過去の学習サンプルの一部を新しいサンプルと共に再学習する手法となっている。だが、この再学習には時間がかかるため、即応を要求される領域での利用が難しい。これを解決するため筆者らは、運用時には丸暗記による高速学習を行い、運用を休止している夜間にモデル選択を含む遅い学習をおこなうことで、運用時の見掛け上の学習速度を高速化する手法を提案して来た。だが、このモデルであっても運用時の高速学習時に勾配法による学習法を併用するため、提示サンプルの提示順序よっては忘却を起こし、正確な学習ができない場合が存在した。そのため今回は、Generalized Regression Neural Network(GRNN)を併用することによってこの問題を解決する。さらに従来は夜間に行われていたモデル選択付きの学習を昼間の運用時にも実行できるよう拡張する。
2005-03-23

non-iid パターンのモデル選択付き学習

スポンサーリンク

概要

著者

関連論文

スポンサーリンク