自然勾配法は多層パーセプロトンの隠れ層の相関に影響されない

概要

論文の詳細を見る
多層パーセプトロンには隠れ層ユニットの入れ換え対称性が存在する.勾配法では入れ換え対称性に起因する鞍点が存在し,学習の過程でのプラトーの原因の一つになっている.教師の隠れ層ユニットの持つ重みベクトルが似ている場合,この鞍点の影響が強くなることが予想される.しかしながら,これまで重みベクトルの相関がどのように鞍点とプラトーに影響を与えるかを議論した例はほとんど存在しない.本論文では,この相関の影響をソフトコミティーマシンにオンライン学習を適用した場合について統計力学的な手法で議論した.最急降下法では,重みベクトルの相関が増えるにしたがって,プラトーが長くなることがわかった.次に自然勾配法を用いる場合を議論した.強い相関がある場合,鞍点まわりでのフィッシャー情報行列の特異性が強くなる.そのため,自然勾配法が上手く働かない可能性も考えられるが,学習の刻みが小さい極限で,相関によらずにプラトーが消失することがわかった.また,鞍点まわりのダイナミクスを求めることにより,解析的にもこれらの知見を裏付ける結果が得られたので報告する.
社団法人電子情報通信学会の論文
2002-10-10