非確定的結合係数更新による階層形ニューラルネットワークの学習

概要

論文の詳細を見る
本稿では、ネットワークの誤差分布に比例した確率で結合係数を更新する階層形ニューラルネットワークの学習法を提案する。本提案法の目的は学習に要する計算量を削減しつつ、高い分類能力を得ることである。筆者らは学習の過程における誤差分布に注目した。学習過程における誤差分布は、ネットワーク出力の2乗平均誤差(MSE)が小さくなるにしたがい、誤差の小さな例題の数が支配的になるため、主に誤差の小さなデータに対する学習がおきなわれる。一方、結合係数の更新量は誤差に比例するため、誤差の小さな例題が支配的になると、結合係数の更新量も小さくなり、適切な学習が行われなくなる。そこで筆者らは誤差の大きな例題と誤差の小さな例題の数のバランスをとり、誤差の大きな例題に対する学習が適切に行われるよう、学習法を改善した。またこれにより、誤差の小さな例題数が減少することとなり、学習に要する計算量が削減された。提案法はこれらを確率的に行う。提案法の正当性は、計算機シミュレーションにより確認した。
社団法人電子情報通信学会の論文
2000-05-19