多層階層型神経回路網の最急降下学習に関する一つの幾何学的考察

概要

論文の詳細を見る
最急降下学習は, 最も基本的かつ単純な学習法である. しかしながら, 多層階層型神経回路網の場合には, 誤差曲面の谷構造, premature saturation/flat spot problem, symmetric phase/plateauなどの問題が指摘されていることからも分かるように, 十分な解析がなされているとは言えない. 本稿では, まず, 出力素子の活性化関数が線形関数である多層階層型神経回路網について, 最急降下学習の一つの幾何学的な解釈を与えた. 次に, これに基づき, 通常の更新則では, 入力重みの更新量と出力重みの更新量の間の不整合に起因して, 学習効率が低下する場合があることを示すとともに, この問題を解決するための更新則の単純な修正を与えた. また, 簡単な数値実験により, 通常の更新則では, 出力重みの更新により, 入力重みだけを更新した場合よりも学習誤差が悪化する場合があることを示すとともに, これに起因して学習誤差が増加する場合もあることを示した. また, 更新則の単純な修正により, こうした学習効率の低下が抑えられることを示し, 本稿での考察の正当性を確認した.
社団法人電子情報通信学会の論文
1999-07-19