リカレントニューラルネットワークの記憶面と学習曲面に関する実験的検証

概要

論文の詳細を見る
階層型ネットワークにおいて,「学習」を深く理解するために,ネットワークの所望の入出力関係を満たす可調節パラメータベクトルwに対する非線形方程式の解集合がw空間に形成する「記憶面」を考慮することの重要性が明らかにされている.更に,リカレントニューラルネットワーク(以下,RNNと略す)の教師あり学習に対しても「記憶面」の考えが拡張できることが示された.本論文では評価関数Eを誤差2乗積分とした場合のRNNに対して,基本的には階層型の場合に得られた結果と以下の4点に関して一致していることを実験的に検証する.(1)RNNにおいて,階層型ネットワークの場合と同様に記憶面が存在する.(2)RNNの教師あり学習は,幾何学的には複数の「記憶面」の交差領域を,Eがwを変数としてw-E空間に形成する学習曲面上の最小点若しくは極小点として探索することである.(3)RNNの学習面形状が細長い曲がった「谷」とこう配の緩やかな平らな「丘」を特徴としている.(4)Eのこう配ベクトルをもとにした逐次探索法による学習過程は,曲面の谷底に相当する記憶面上に沿って進む傾向がある.
1993-05-25