教材の追加による過学習の抑制

概要

論文の詳細を見る
誤差逆伝搬法(BP法)を用いた階層型ニューラルネットワークの学習では,学習が進み過ぎると,標本点以外の出力の誤差がかえって大きくなる現象が起きる.過学習と呼ばれているこの現象は,BP法が標本点のみの出力を考慮した記憶学習の評価基準による学習であり,本来の目的である標本点以外の出力に対する考慮がなされていないことに起因するのである.これを小川,山崎は,記憶学習の評価基準が本来の評価基準の代替として用いられていると解釈することにより説明した.即ち,代替の評価基準J'が本来の評価基準Jを同時に満足していれば,J'をJの代替として用いることができ,過学習は生じないのである.このように,ある評価基準J'が本来の評価基準Jの代替になりうるかどうかを評価するために,本来の評価基準Jの代替評価基準J'に対する許容性の概念が導入されている.さて,ニューラルネットワークの学習とは,ある学習したい関数f(x)を最良に近似するニューラルネットワークf_0(x)を,入力と対応する出力の組である訓練データ{x_m,f(x_m)}^M_<m=1>を使って構成することである.ここで,fは再生核K(x,y)を持つヒルベルト空間Hに属するものとする. 教材{x_m}^M_<m=1>を固定すればfに対して標本値の組{f(x_m)}^M_<m=1>が一意に定まる.{f(x_m)}^M_<m=1>を成分とするM次元ベクトルにfを対応づける変換をAで表し,標本化作用素とよぶ:y=Af.e_mを自然基底とし,(・⨂・)をSchatten積とすれば,Aは A=Σ^^M__<m=1>e_m ⨂<K(x,x_m)>^^__ で表される.またyからf_0への対応づけをXで表す:f_0=Xy.yからf_0を求めることが学習であり,それはXを求める問題と等価になる.
社団法人電子情報通信学会の論文
1996-03-11

教材の追加による過学習の抑制

スポンサーリンク

概要

著者

関連論文

スポンサーリンク