特異なFisher情報行列を持つ線形ニューラルネットワークの汎化誤差
スポンサーリンク
概要
- 論文の詳細を見る
真のパラメータにおけるFisher情報行列が特異な場合に、特別な構造の線形ニューラルネットワークの最尤推定量の汎化誤差を理論的に計算する。3層ニューラルネットのような非線形な統計モデルでは、Fisher情報行列が特異になることがあり、このような場合には可逆性を仮定した通常の統計的漸近理論が成立せず、様々な統計的手法が適用できなくなる。この時、汎化誤差がどうなるかは重要な課題である。本論文では、最尤推定量が厳密に計算できる非線形モデルを提案し、その汎化誤差を理論的に計算する。通常の理論では汎化誤差はパラメータ数に比例するが、本論文のモデルではその値よりも大きな誤差になることがわかった。これはFisher情報行列の特異性に起因する非線形モデル特有の現象である。コンピュータシミュレーションを行なったところ、理論解析とよい一致を示した。
- 社団法人電子情報通信学会の論文
- 1996-05-24