離散的に基底を可変とする関数表現の2乗誤差規範のもとでの統計的性質について

概要

論文の詳細を見る
3層階層型ニューラルネットワークの与える関数表現を基底関数の線形結合とみなすと,入力重みやしきい値などの入出力関係に関して非線形に含まれるパラメータは,基底を可変にする効果をもち,2乗誤差を規準として,学習により,基底の選択がなされているものととらえることができる.本論文の目的は,基底をパラメータ推定により選択できるという関数表現の性質に着目し,回帰モデルの枠組みの中で,損失関数を2乗誤差として,こうした性質をもつ関数表現の与える経験損失の最小値および最小2乗推定量における期待損失のサンプルの分布に関する期待値などを解析的に明らかにすることにある.本論文では,問題を簡単化するために,正規直交性を満たす基底の線形結合により表される関数表現について,基底を離散的なパラメータにより可変とする場合を対象とする.また,サンプルとしては,真の関数表現が存在する場合を考えて,正規雑音系列を与えるものとする.このとき,経験損失の最小値および最小2乗推定量における期待損失のサンプルの分布に関する期待値を求める問題は,基底関数の個数をsとしたとき,自由度1のX^2分布に従う独立な確率変数列について,値の大きい順に選んだs個の確率変数の和の期待値を求める問題に帰着されることを示し,各期待値の下界・上界を導いた.この際,そうした期待値の真の分散からの推定による偏りが,固定された基底数sのもとで,サンプル数をNとして,基底が可変でない関数表現を用いた場合には1/Nのオーダで減少するのに対して,基底が可変である関数表現を用いた場合にはlog N/Nのオーダで減少することを示した.また,基底が可変である関数表現の与える経験損失の最小値のサンプルの分布に関する期待値は,基底が可変でない関数表現の場合より小さく,最小2乗推定量における期待損失のサンプルの分布に関する期待値については,その逆が成り立つことを示した.更に,特殊な場合について,中間素子の出力関数としてsin関数を用いた1入力1出力の3層階層型ニューラルネットワークに対して,経験損失の最小値のサンプルの分布に関する期待値の上界を与えた.
社団法人電子情報通信学会の論文
1995-11-25

離散的に基底を可変とする関数表現の2乗誤差規範のもとでの統計的性質について

スポンサーリンク

概要

著者

関連論文

スポンサーリンク