多層パーセプトロンのFisher情報行列の正定値性について
スポンサーリンク
概要
- 論文の詳細を見る
統計的推定においてパラメータの推定値の漸近的挙動を記述するにはFisher情報行列が重要な役割を果たす。しかし多層パーセプトロンではFisher情報行列が特異になることがあり、その場合には、正定値性を仮定した統計的手法を適用できないことが指摘されている。本稿では、出力に関与しない中間層素子が存在せず、かつ複数の中間層素子を1個に置き換えられない場合に、そのネットワークを既約と定義し、Fisher情報行列の正定値性とネットワークの既約性が同値であることを数学的に証明する。この定理により、Fisher情報行列が正定値でない場合、冗長な中間層素子を削除していくことにより入出力写像を変化させることなく正定値なネットワークに変換できることが結論できる。
- 社団法人電子情報通信学会の論文
- 1994-10-13
著者
関連論文
- 多値判別における2値判別機のゲーム理論的組合せ法(人工知能,認知科学)
- 再生核ヒルベルト空間を用いた統計的推論 (再生核の応用についての研究)
- IT野ニューロン集団の時間相関を取り入れたクラスタリング
- 29pXH-7 側頭葉の顔応答ニューロンの混合正規分布解析(29pXH ニューラルネットワーク(神経系のモデルを含む),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 混合 von Mises-Fisher 分布の変分ベイズ推定について
- 特異モデルの学習理論(情報論的学習理論論文)
- 正定値カーネルによる回帰問題における次元削減法 (特集 計算推論--モデリング・数理・アルゴリズム)
- ニューロ多様体の特異構造と無限の局所自由度 (最新 脳の数学理論--脳を語る情報と幾何の最前線)
- 特異モデルにおける統計的推測 : 接錐によるアプローチ
- [チュートリアル講演]特異モデルにおける統計的推測(統計的学習理論及び一般)
- 多項式近似における学習データの最適設計と予測誤差
- 縮退したFisher情報行列を持つ系の学習について
- 多層パーセプトロンのFisher情報行列の正定値性について
- ニューラルネットワークの推定誤差の解析と学習データ最適化手法
- 研究詳解 正定値カーネルによるノンパラメトリック推論 (特集「統計的機械学習」)
- 情報量基準による超音波画像復元法
- 3.ニューラルネットワークの能動学習 (能動学習)
- 多層ニューラルネットワークの特殊な統計的性質
- 一次データを保存しない大規模科学計算の可能性
- 28aPS-86 分子動力学データに対する統計解析(28aPS ポスターセッション,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 最適化問題を解くホップフィールドモデルの設計法
- 情報量規準の変形によるニューラルネット最適化の一手法
- 23aGN-5 生体分子の分子動力学時系列データに対する統計解析(23aGN 生物物理,領域12(ソフトマター物理,化学物理,生物物理))
- Kernel and Feature Search in Kernel PCA (情報論的学習理論と機械学習)
- Kernel and Feature Search in Kernel PCA
- 部分観測マルコフ決定過程ベルマン方程式のカーネル化(強化学習,統計推理,データベース,一般)
- 代謝フラックスと凸多面体 (第9回生物数学の理論とその応用)
- Classes of translation-invariant kernels on compact groups