エントロピー項の導入によるバックプロパゲーション学習則の拡張と学習効率の向上

概要

論文の詳細を見る
本論文では,多層型ニューラルネットにおいて最も広く利用されているパックプロパゲーション学習則(以下,BP則)の新しい改良法を提案する.提案する学習則は,既存のBP則の自然かつ強力な拡張となっている.学習の目的関数に,教師信号との出力誤差の最小化だけでなく,エントロピーとよぶ量の最大化を加える.エントロピーは,各ニューロンの出力値が0.5に近い曖昧な値を取るほど大きくなる量なので,エントロピー項を導入すると各ニューロンはOや1に極端に近い出力値は取りくなり,学習途上で入力荷重の絶対値が過度に増大することが自然に防がれる.この性質は学習のローカルミニマムからの脱出に重要である.エンドロピー項の導入は,学習空間全体の起伏を減らし,より簡単な学習問題へ変形する操作と考えられるが,一方では学習を通じて得られる結合荷重が当初の目的からずれる欠点がある.そこで,学習の序盤にはエントロピー項の寄与を大きくしておき,中盤以降から徐々にエントロピー項の寄与を減じながら学習を進める技法を導入する.一般に,隠れ層のニューロン数を減らすと,学習は困難になるが汎化能力は向上する.エントロピー項の動的制御により,このような困難な学習の効率改善が期待できる.学習のローカルミニマが知られる単純な例題を用いて,本提案が収束効率を改善することを実験的に示す.また,誤差の基準としてKullback情報量を使うことが提案されているが,エントロピー項の導入を組み合わせると,学習効率が特に改善される.
一般社団法人情報処理学会の論文
1999-12-15

エントロピー項の導入によるバックプロパゲーション学習則の拡張と学習効率の向上

スポンサーリンク

概要

著者

関連論文

スポンサーリンク