MV正則化を用いたニューラルネットモデル簡素化
スポンサーリンク
概要
- 論文の詳細を見る
本論文ではMV正則化と呼ぶ強力な正則化法を用いることによりニューラルネット簡素化の新方法を提案する.MV正則化では, 検証誤差を最小化するべく正則化問題を解くことにより, それぞれの重みに対して別々に割り当てられたペナルティ係数を学習する.MV正則化による学習後, ペナルティ係数はネットワークの不要重みの枝刈りに用いられる.すなわち, 汎化性能が悪化しない限り, ペナルティ係数の大きいものから順に一つずつ重みが除去される.人工データと実データを用いた実験では, 提案法を用いることにより汎化能力の低下を伴うことなく多くの不要重みが除去できた.
- 社団法人電子情報通信学会の論文
- 2002-01-22
著者
-
永田 崇
名古屋工業大学知能情報システム学科
-
川田 敦史
名古屋工業大学知能情報システム学科
-
山田 憲一
名古屋工業大学知能情報システム学科
-
中野 良平
名古屋工業大学知能情報システム学科
-
中野 良平
名古屋工業大学大学院工学研究科情報工学専攻
-
中野 良平
名古屋工業大学 知能情報システム学科
関連論文
- MV正則化を用いたニューラルネットモデル簡素化
- 「ニューロラルな視点からの挑戦」へのコメントと回答
- 交差検証誤差最小化によるSV回帰ハイパーパラメータ最適化の高速化
- クラスタリングを用いた強化学習システムIPMBNの環境変化への適応について(ニューラルネットワーク画像復元及び一般)
- BN混合モデルを用いたオンライン型方策改善システムの動的環境への適応(ベイジアンネット2 : ポスターセッション)
- 4層パーセプトロンを用いた質的条件付き重回帰(バイオサイバネティックス,ニューロコンピューティング)
- 社会ネットワーク上の情報伝搬における強影響力ノード抽出の効率化(データマイニング)
- 4層パーセプトロンを用いた名義空間自動分割型重回帰
- 重み双方向クラスタリング学習法 : 最適な共有重み構造をもつニューラルネットを求めて(バイオサイバネティックス, ニューロコンピューティング)
- ニューラルネットを用いたテキストの特徴語抽出(一般)(ニューロインフォーマティックスとは何か)
- 多層パーセプトロンを用いた区分的多項式回帰(一般)(ニューロインフォーマティックスとは何か)
- ニューラルネットを用いたテキストの特徴語抽出
- 多層パーセプトロンを用いた区分的多項式回帰
- 線形変数変換に不変な自乗値ペナルティ項の構成法(知識処理)
- 交差検証誤差最小化による重要重みの発見
- NC2000-44 質的条件付き数法則発見法 : RF6.2アルゴリズム
- 法則発見法RF6.2の生化学データへの適用と評価 (テーマ:「データマイニング--共通データからの知識発見」および一般)
- 質的条件付き数法則発見法のVQと決定木を用いた高速化 (小特集 「発見科学」及び一般演題)
- 線形変数変換に不変な自乗値ペナルティ項の構成法 (小特集 「発見科学」及び一般演題)
- 交差検証誤差最小化による重要重みの発見
- 2次学習アルゴリズムBPQによるリカレントネットワーク学習とガウス混合分布推定
- 2次学習アルゴリズムBPQの分類問題への適用法とその評価
- MDL 原理に基づく新正則化法
- ニュ-ラルネット法則発見法の大規模デ-タへの適用性
- 自乗値ペナルティ項を用いた2次学習アルゴリズム
- 量子通信路容量の超加法性の達成度に関する一考察
- 正解ニッチェ表現をめぐるルール間生存競争
- 3層ニューラルネットにおける2階導関数を用いた学習アルゴリズムの高速化
- サポートベクトル回帰におけるハイパーパラメータの最適化法
- 原始初期点とSubsamplingを用いたEM初期値生成法
- Loopy-BPにおける計算速度向上のためのネットワーク構造簡略化(ニューラルネットワーク画像復元及び一般)
- 多点探索DAEMにおける効果的な温度スケジューリング
- リカレントネットを用いた力学系学習におけるモデル選択と局所最適性
- DAEMアルゴリズムを用いた多点探索
- ニューロナルな視点からの挑戦
- A-6-2 M元線形独立信号に対する量子最適受信機の一実現法
- コネクショニストアプローチによる数法則の発見
- HMEの構成的学習アルゴリズム
- 準ニュートン法に基づくElmanネットワークの学習アルゴリズム
- 事例からのルール抽出 : RF2アルゴリズム
- 知識表現・知識獲得基本技術 (知識処理技術)
- 将棋局面進行度の定量化法の比較評価
- ボンガルド問題と概念学習アルゴリズム
- ニュ-ラルネットを用いた法則発見
- 自乗値ペナルティ項を用いた2次学習アルゴリズム
- 自乗値ペナルティ項を用いた2次学習アルゴリズム
- 適応概念学習アルゴリズム:RF4
- ベイズ推定に基づくタスク順序付け
- ノイズを含む事例からのルール抽出 : RF3アルゴリズム
- 関係論理から最適な関係代数表現への変換法
- 関係論理表現に現れる集約関数の最適関係代数表現への変換法