雑音が存在する場合の射影学習の記憶学習に対する許容性
スポンサーリンク
概要
- 論文の詳細を見る
誤差逆伝搬法(BP法)を用いた階層型ニューラルネットワークの学習では,学習が進み過ぎると,標本点以外の出力の誤差がかえって大きくなる現象が起きる.過学習と呼ばれているこの現象は,BP法が標本点のみの出力を考慮した記憶学習の評価基準J_Mによる学習であり,本来の目的である標本点以外の出力に対する配慮がなされていないことに起因するのである.これを小川,山崎は,記憶学習の評価基準が本来の評価基準の代替として用いられていると解釈することにより説明した.即ち,代替の評価基準J'が本来の評価基準Jを同時に満足していれば,J'をJの代替として用いることができ,過学習は生じないのである.このように,ある評価基準J'が本来の評価基準Jの代替になりうるかどうかを評価するために,本来の評価基準Jの代替評価基準J'に対する許容性の概念が導入されている.学習したい関数fは,再生核K(x,y)をもつヒルベルト空間Hに属するものとする.ニューラルネットワークの学習とは,学習したい関数f(x)を最良に近似するニューラルネットワークf_0(x)を,入力と対応する出力の組である訓練データ{x_m,y_m}^M_<m=1>を使って構成することである.本稿では,y_mが加法性雑音n_mを含む場合を論じることにする:y_m=f(x_m)+n_m.教材{x_m}^M_<m=1>を固定すれば,fに対して標本値の組{x_m}^M_<m=1>が一意に定まる.この{f(x_m)}^M_<m=1>を成分とするM次元ベクトルにfを対応づける変換をAで表し,標本化作用素とよぶ.{y_m}^M_<m=1>と{n_m}^M_<m=1>を要素とするM次元ベクトルを,それぞれyとnで表せば,次の関係が成立する:y=Af+n. (1) ベクトルyから関数f_0への対応づけをXで表す:f_0=Xy. (2) yからf_0を求めることが学習であり,それはXを求める問題と等価になる.
- 社団法人電子情報通信学会の論文
- 1996-03-11
著者
関連論文
- 近似手法としての標本化定理の一拡張(ネットワークプロセッサ,通信のための信号処理,符号理論,一般)
- 174 山口大学工学部におけるディジタル信号処理教育事例 : 工学教育の理想像の実現を目指して(教育システムB(実験・設計製図など)VII,第44セッション)
- (31)山口大学工学部におけるディジタル信号処理教育 : 学部3年次後期における学生実験の構想(第8セッション 教育システム(実験・設計製図等)(III))
- (30)山口大学工学部におけるLSI設計教育 : 学部3年次後期における学生実験の構想(第8セッション 教育システム(実験・設計製図等)(III))
- 未知パラメータを含むインターレースサンプリングに関する一考察(サンプリング,信号,ネットワークプロセッサ,通信のための信号処理,無線LAN/PAN,一般)
- 未知パラメータを含むインターレースサンプリングに関する一考察(サンプリング,信号,ネットワークプロセッサ,通信のための信号処理,無線LAN/PAN,一般)
- 未知パラメータを含むインターレースサンプリングに関する一考察(サンプリング,信号,ネットワークプロセッサ,通信のための信号処理,無線LAN/PAN,一般)
- 再帰型高次結合ニューラルネットワークによる正規言語の学習
- 全運動軸点推定の数学モデル
- Active Learning for Maximal Generalization Capability (Applications of the theory of reproducing kernels)
- 二値回帰問題のための新しいカーネルの提案
- D-11-97 劣化した印刷画像の画質改善
- D-2-6 訓練入力に雑音が含まれる場合の汎化誤差の推定
- AP-6-1 標本化と量子化(AP-6.信号・画像の離散化、特に量子化法についての討論-OK量子化理論とその展望-,パネル討論,ソサイエティ企画)
- 関数解析的学習理論 (函数解析学と数理情報の接点)
- D-2-2 モデル選択基準Corrected Subspace Information Criterionの理論的性能評価
- FA 信号処理に一般標本化定理を応用した光干渉式高速表面形状測定装置
- 信号処理に帯域通過型標本化定理を応用した光干渉式高速表面形状測定装置
- Subspace Information Criterionによる画像復元フィルタのパラメータ最適化
- 標本点とモデルの同時最適化
- NLP2000-32 / NC2000-26 標本点とモデルの同時最適化
- 帯域通過型標本化定理を用いた白色光干渉による表面凹凸形状の高速測定
- 最適汎化ニューラルネットワークの誤差最小構成法
- D-11-100 撮像素子の数学的モデルに基づく画像高解像度化手法
- 相対KL変換法によるパターン認識
- 相対KL変換法によるパターン認識
- 相対KL変換法によるパターン認識
- 最大差型部分空間法によるパターン認識
- 帯域制限波形空間多重解像度解析のよるシャノンウェーブレットフレーム
- 信号・画像推定のための射影フィルタ族の統一理論
- 各種最適画像復元フィルタの相互関係
- 最適画像復元フィルタと一般逆
- 画像空間の位相と最適画像復元フィルタ
- 最適画像復元フィルタと一般逆 : 画像処理・コンピュータビジョン
- ウェーブレット解析による3次元物体認識
- 部分空間法による読唇
- 自己相似タイリング多重解像度解析とそのウェーブレット基底による実現
- レーザプリンタの自動判別について
- 非定常信号の実時間復元
- 非理想サンプリングデバイスのための離散フーリエ変換(SIP:信号処理1,無題QoS,無線リソース制御,アドホックネットワーク,信号処理,無線通信一般)
- 非理想サンプリングデバイスのための離散フーリエ変換(SIP:信号処理1,無題QoS,無線リソース制御,アドホックネットワーク,信号処理,無線通信一般)
- A-4-36 標本化定理に基づく離散コサイン変換(DCT)の一般化(A-4.信号処理,一般講演)
- 近似手法としての標本化定理の一拡張(ネットワークプロセッサ,通信のための信号処理,符号理論,一般)
- 近似手法としての標本化定理の一拡張(ネットワークプロセッサ,通信のための信号処理,符号理論,一般)
- 8-227 IP-LAB:Javaによる画像処理プログラミング教育ツール : スイス連邦工科大学ローザンヌ校における実施例((11)教育ソフトウエア-I)
- 単一断線故障を修復可能な最適汎化ニューラルネットワーク
- 記憶学習の射影学習族に対する適応可能性
- 射影学習族
- D-2-27 単一断線故障が生じたニューラルネットワークの最適汎化能力の復元
- D-2-25 射影学習族と最小分散型射影学習
- 射影学習族
- 教材の追加・削除による記憶学習の射影学習に対する最適許容化
- 雑音を含んだ訓練データに対する誤り修正型記憶学習
- 射影学習族の記憶学習に対する許容性
- 教材の追加による過学習の抑制
- 誤り修正型記憶学習
- 雑音が存在する場合の射影学習の記憶学習に対する許容性
- 射影学習の記憶学習に対する許容性
- 東工大における画像処理研究動向 : 小川研究室,酒井・吉田研究室,中嶋・亀井研究室 : 画像処理・コンピュータビジョン
- 単一断線故障を修復可能な最適汎化ニューラルネットワークの構成法
- バイアスの推定とモデル選択
- D-2-24 最良線形不偏推定の拡張としての射影学習
- 訓練データの雑音抑制と汎化能力
- 射影学習による手書き数字認識
- 最適汎化のための逐次型能動学習
- バイアスを考慮した逐次型能動学習
- 最適汎化のための射影学習族の追加学習
- D-2-26 三角多項式ニューラルネットワークの能動学習
- 射影汎化ニューラルネットワークの追加学習
- 三角多項式モデルを用いた訓練データの最適設計
- 雑音抑制のための能動学習
- 雑音抑制のための能動学習
- 最適汎化のための射影追加学習
- 雑音が存在する場合の射影追加学習
- 白血球抗原(HLA)自動検査システムの開発
- 特集「画像処理エキスパートシステム」の編集にあたって
- 最適汎化能力をもったニューラルネットワークの追加学習
- 最適汎化能力をもった神経回路網の追加学習
- 最適汎化ニューラルネットワークの最適構成法
- 最適汎化ニューラルネットワークの最適構成法
- 適応型射影追加学習
- 多項式ボルツマン機械
- 過学習を起こさない教材の選び方
- 雑音を考慮した過学習の理論
- 過学習の理論
- A-4-6 標本化モデルと最適化に基づく直線エッジ抽出法の一考察(A-4.信号処理,一般セッション)
- A-4-7 最適化を用いた雑音を含むデータからの微分インパルス列再構成(A-4.信号処理,一般セッション)
- 擬似双直交性理論とその応用 (再生核の理論とその応用)