入出力関数の傾きとバイアス値の動的な調整による局所安定点回避効果

概要

論文の詳細を見る
対称相互結合型ニューラルネットにおけるエネルギー極小化の性質を利用するとある種の組合せ最適化問題を近似的に解くことができるが、問題を表現するエネルギー空間には極めて多くの極小点が生ずるため、最適解または良い近似解を得ることは困難と考えられている。我々は、局所安定点へ捕捉される割合を減じ、最適解への収束率を高めるための技法として、勾配急峻化法、および過剰バイアス法を提案した。これらの技法を採用すると、計算の開始時にはエネルギー空間が平滑化されて、局所的な凹凸が消去される。こうして平滑化された空間での最小点は比較的速やかに求めることができるが、最小点の位置は本来解くべきエネルギー空間のものと正確には一致しない。そこで、ゆっくりと連続的にエネルギー空間を本来解くべき複雑な形状のものに戻していくと、エネルギー空間を固定したまま計算を行なう場合に比べてエネルギー最小状態へ引き込まれる確率が向上する。これらの手法はいわゆる制約緩和法とも関連があるが、ニューラルネットのモデルの枠の中で極めて単純なパラメータ制御のみで実現していることに価値がある。
一般社団法人情報処理学会の論文
1991-02-25