汎化能力改善のための階層型ネットワークの重み表現に対する線形制約の導入と文字認識への応用
スポンサーリンク
概要
- 論文の詳細を見る
階層型ニューラルネットワークを実問題に適用する場合には, 高い汎化能力を持つことが要求される.本論文では, ニューラルネットワークの汎化能力を改善する方法を検討する.学習対象に関する知見として, 学習対象の関数が入力パターンのある変動に対して出力不変となる性質をもつ場合を扱う.そして, このような不変性をニューラルネットワークの重み表現に反映させることによって汎化能力の改善を試みる.入力パターンの変動が線形変換で表現できる場合に, ニューラルネットワークがこのような不変性をもつための十分条件が, 重み表現に対して線形の従属制約を導入することであることを示す.そして, この重み表現に対する制約を付加項として評価関数に導入する学習法を提案する.提案手法はWeight Decay法や構造学習法といった削除的学習法を特別な場合として含む, より一般的な手法であると考えられる.また汎化能力とVC次元との関係が議論されているが, 本手法は重み表現に線形の制約を導入することにより, 汎化能力の改善をVC次元の減少という観点からも評価することができる.最後に, 提案手法を手書き数字認識問題に適用した実験結果を示す.
- 2001-03-01
著者
関連論文
- 再帰型高次結合ニューラルネットワークによる文脈自由言語の認識
- 再帰型高次結合ニューラルネットワークによる正規言語の学習
- 再起型高次結合ニューラルネットワークによるオートマトンの実現に関する研究
- パネル討論 : パターン認識・メディア理解と数理モデル : 数理モデル研究の現状と将来
- 2次元回折格子を使ったホログラフィックニューラルネットワークに関する研究
- 連載「様々な角度から見たニューラルネットワークの将来像」の企画にあたって
- 初期輪郭線から得られる形状情報を用いた動的輪郭モデル
- 輪郭線周囲のクラスタリングによる動的輪郭モデルの制御
- パターンの変動を考慮した階層型ニューラルネットワークの汎化学習法における精度の改善
- 物体輪郭に沿ったクラスタリングに基づく領域抽出
- パターンの変動を考慮した階層型ニューラルネットワークの汎化能力改善学習法
- 汎化能力改善のための階層型ネットワークの重み表現に対する線形制約の導入と文字認識への応用
- 階層型ニューラルネットワークを用いた多視点画像からの三次元形状復元
- 形状表現ニューラルネットワークによるエッジの高品位表現
- ニューラルネットワークを用いた多視点画像からの三次元オブジェクトモデルの生成に関する研究
- ニューラルネットワークを用いた多視点画像からの三次元オブジェクトモデルの生成に関する研究
- Hough変換と枠の相対位置関係を用いたタブレット記入文字の位置ずれ補正法
- 形状記述ネットワークによる移動物体の追跡 : 実動画像に基づく検討
- 重み表現に線形の従属制約を導入した階層型ニューラルネットワークの写像能力
- 形状マッチングを用いたカメラの位置・姿勢推定
- エッジ情報を用いたSketch Based Coding画像の動き補償に関する研究
- テンプレートの関数表現とセルラー並列計算モデルを用いた2値画像の形状抽出
- 任意形状のアウトライン表現の自動生成
- 内部表現の冗長化によるボルツマンマシンの動作並列化
- キーパターン誤り情報に基づく連想記憶の性能向上
- 2部グラフ構造ニューラルネットワークの性能について
- 直線認識のための平面上のパラメータ伝達モデル