多項式カーネル法の汎化誤差解析 : 代数幾何的アプローチ
スポンサーリンク
概要
- 論文の詳細を見る
本稿では,多項式カーネルを用いた学習二分機械の汎化能力について議論する.まず,学習機械の汎化誤差は入力空間が特徴空間に作る多様体(入力曲面)と特徴空間における真の分離面の交線(分離曲線)の性質に依存することを示す.特に入力曲面が1次元の時には,分離問題は交点数と同じ数の1次元問題とみなせ,汎化誤差が導出できる.また,入力曲面が多次元の時には,汎化誤差は分離曲線の級数で定まることが示される.次に,分離曲線の級数と真の分離関数の関係について考察する.分離曲線の級数は真の分離関数が既約である場合に最大となり,可約である場合には小さくなることが明らかにされる.いずれにしても分離曲線の級数は真の分離関数のみに依存し,特徴空間の次元には直接依存しない.これは特徴空間の次元が高すぎる場合でも汎化誤差は増加しないことを示しており,カーネル法を用いた学習においてはいわゆる過学習現象が起こらないことを意味している.
- 2002-10-10
著者
関連論文
- マルチキャリア変調のためのAF協調ダイバーシチ法とアウテージ解析(自律・分散・協調システム,自律・分散・協調システム,一般)
- 遺伝的アルゴリズムにおける平均最短距離の導出 (生命現象と関連した非線形問題の数理)
- 遺伝的アルゴリズムのネットワーク的性質(スパイク信号の統計解析、一般)
- F_041 マルコフ決定過程に基づくマルチエージェントシステムの漸近的性質(F分野:人工知能・ゲーム)
- 多項式カーネル法の汎化誤差解析 : 代数幾何的アプローチ
- 神経回路網への展開--サポートベクトルマシンの学習曲線 (特集 統計科学の最前線--新しい情報科学への技術と手法)
- 学習理論, 高橋治久・堀田一弘著, 出版社コロナ社, 発行2009年11月, 全ページ215頁, 価格3,000円, ISBN978-4-339-02443-2
- 強化学習の収益最大化における漸近等分割性の役割
- マルチエージェント強化学習におけるエージェント間の制約の影響について(学習理論)
- 忘却係数を持つサポートベクトルマシンの統計的解析
- 脳波信号からの直感発生検出に関するBCI研究(BCI/BMIその周辺,一般)
- 情報幾何学の観点からみた準加法的アルゴリズム
- 統計的手法を用いた学習機械の解析 (生命現象と関連した非線形問題の数理)
- サポートベクトルマシンの学習曲線
- カーネル関数の性質とν-SVM解の関係
- 強化学習の収益最大化における漸近等分割性の役割
- スパイクニューロンにおけるインタースパイクインタバルの情報幾何
- スパイクニューロンにおけるインタースパイクインタバルの情報幾何
- EMアルゴリズムを用いた確率的通信路に対する適応等化法
- ソフトマージンを持つサポートベクトルマシンの漸近的統計的解析
- 典型系列を使った強化学習の解析
- D-2-1 L_pノルムを用いたサポート・ベクトル・マシンの学習特性(D-2. ニューロコンピューティング)
- 強化学習における漸近等分割性について
- 前処理を用いたステレオエコーキャンセラにおける学習係数と収束速度
- 強化学習における典型系列について
- 強化学習における典型系列について(NC一般セッション(3))(認識と学習,模倣学習)
- 強化学習における典型系列について(NC一般セッション(3))(認識と学習,模倣学習)
- 強化学習における複雑さを評価するためのLempel-Ziv符号化(統計的学習理論及び一般)
- LG-4 強化学習における収益の情報源符号化とその行動選択への応用(G. 人工知能)
- 多項式カーネル法の汎化誤差解析 : 代数幾何的アプローチ
- D-8-15 ランドマークの大きざを考慮した視覚移動ロボットのためのベイズ経路計画法(D-8.人工知能と知識処理,一般セッション)
- 基本パーセプトロンの等比学習とその収束条件
- ブロック直交射影アルゴリズムのブロックサイズ最適化
- D-2-4 表情識別時と個体識別時の眼球運動の差異(D-2.ニューロコンピューティング,一般セッション)
- D-12-45 ロボットによる道具身体化モデル(D-12.パターン認識・メディア理解,一般セッション)
- A-4-63 前処理を用いたステレオエコーキャンセラの収束条件
- 前処理を用いたステレオエコーキャンセラの収束速度
- 前処理を用いたステレオエコーキャンセラの収束速度
- 多項式カーネルをもつカーネル法の幾何学と学習曲線(情報論的学習理論論文小特集)
- 多項式カーネル法における入力多様体と汎化誤差
- D-2-2 カーネル法における入力空間と特徴空間
- H-9 誤差を許容するパーセプトロン学習(学習理論とパルスニューラルネット,H.生体情報科学)
- INNS-IEEE International Joint Conference on Neural Networks(IJCNN2001)(「人間を内部に含んだ系のモデリングと設計特集号」)
- コインシデンス・ディテクタ・ネットワークにおけるsynfire chain
- 勉強のしすぎはよくない?
- A-4-28 付加的計測を用いたネットワークトモグラフィ(A-4.信号処理,一般セッション)
- 線形可解マルコフ決定過程における受動的ダイナミクスのモデリングと推定(知的システム,一般)
- ブレグマン情報量を用いたベイズ学習の局所変分近似(知的システム,一般)
- Virtual Fitting Room に向けた実画像・深度画像を用いた衣服の特性推定
- 細胞形態を反映した階層ベイズ法による細胞の力推定法
- Difference Between Experts and Non-experts in Gaze Patterns During Preference Judgment of Abstract Paintings (ニューロコンピューティング)
- AK-2 電力問題へのさまざまなアプローチ(AK-2.電力問題へのさまざまなアプローチ,ソサイエティ特別企画,ソサイエティ企画)
- D-2-5 ノイズあり教師によるパーセプトロン学習の漸近解析(D-2.ニューロコンピューティング,一般セッション)
- D-7-9 細胞形態の定量化のためのShape Contextの応用(D-7.MEとバイオサイバネティックスA,一般セッション)
- D-7-8 力学過程を介した細胞形態制御の定量数理モデル(D-7.MEとバイオサイバネティックスA,一般セッション)
- サンプル間の相関を考慮した主成分分析とカーネル関数による共分散行列の推定(ポスターセッション,第14回情報論的学習理論ワークショップ)
- 補助変数法に対する適応的マルコフ連鎖モンテカルロ法とその変換モンテカルロ法への応用(ポスターセッション,第14回情報論的学習理論ワークショップ)
- 不快音圧レベル推定のための純音ペア刺激に対する誘発電位の特徴量分析(一般,複雑系とニューロコンピューティング)
- 運転状況を推定し学習データを選択する適応的ブレーキ警報システム
- アクティブ計測とパッシブ計測を用いたパケット損失率推定法(行列分解,応用,統計推理,データベース,一般)