2次元探索共役勾配法を用いた多層神経回路網の高速学習法
スポンサーリンク
概要
- 論文の詳細を見る
多層神経回路網の結合係数を学習する逆伝播学習法は自助微分法の一種である.本論文では,自動微分法および自動微分法を用いた2次元探索共役勾配法の概要が示され,この2次元探索共役勾配法を用いた多層神経回路網の高速学習法が提案されている.本方法は逆伝播法の学習パラメータと慣性パラメータを自動的に制御する共役勾配法であり,最急降下法である逆伝播法よりも少ない回数の繰返しで収束する.本方法にはヘッセ行列の2次形式などの計算が含まれているため,ヘッセ行列を求めてからこれらの値を計算すると,神経回路網の大きさの2乗に比例した計算領域と計算量が必要となる.しかし自動微分法を用いることにより,神経回路網の大きさに比例した計算領域と計算量でこれらの値を計算することが可能である.本論文で提案されている高速学習法は,逆伝播法の高々6倍の計算量で1回の繰返し計算をする共役勾配法である.数値実験において逆伝播法,慣性項をともなう逆伝播法,学習パラメータと慣性パラメータを逐次変化させる逆伝播法および本高速学習法を用いた実験結果が比較され,本方法を用いることによって,これらの逆伝播学習法よりもかなり少ない反復回数で学習が収束し,繰返し1回あたりの計算時間が逆伝播法約倍となったことが示されている.
- 1990-07-15
著者
関連論文
- 2次元探索共役勾配法を用いた多層神経回路網の高速学習法
- 偏導関数自動導出システム
- グラフの変形を用いた偏導関数の計算過程の導出
- 非線形最適化問題の数値解法への偏導関数自動導出システムの応用(数値計算基本アルゴリズムとそのソフトウェアの研究)
- 偏導関数の計算過程を導出するための前処理システムの改良(数値計算基本アルゴリズムとそのソフトウェアの研究)
- 計算グラフを用いた数値計算のための数式処理システム