リカレントニューラルネットワークの探索法の比較 : 最急降下法,共役こう配法に対する谷探索法の優位性の検証

概要

論文の詳細を見る
リカレントニューラルネットワークに対するオフラインの教師あり学習は評価関数が形成する曲面(学習曲面)上の最小値探索ととらえることができる. また,探索の対象となる学習曲面は特徴的な形状をもっておリ,筆者らはこの学習曲面の大域的形状を考慮した谷探索法を提案している.最小値探索法としては一般によく用いられる最急降下法,共役こう配法など複数の探索法が考えられるが, これらの探索法と学習曲面の特徴的形状の関係は明確にされておらず,その有効性の客観的判断は難しい.そこで,本論文では最急降下法,共役こう配法,谷探索法の3手法を取り上げ,各探索法と学習曲面との関係を示し, シミュレーションをもとに谷探索法の優位性を実験的に検証する.具体的には,学習曲線と探索過程に対する各探索法のもつパラメータ依存性を実験的に明らかにし,谷探索法が他の探索法に比ベパラメータの設定が容易であることを示す. また,収束時間および初期値依存性についても谷探索法が優れていることを示す.
社団法人電子情報通信学会の論文
1995-07-25