疎でないマルチプルカーネル学習の速い収束レートおよび最適な正則化に関して(ポスターセッション,第14回情報論的学習理論ワークショップ)
スポンサーリンク
概要
- 論文の詳細を見る
本報告では,マルチプルカーネル学習(MKL)の新しい汎化誤差評価を一般的な正則化に対して導出する.ここでは基本的に疎でない密な正則化項を扱う.例えばl_1-ノルムの代わりにl_pノルムを正則化項として用いるl_p-MKLがその代表的な例である.近年の数値実験によると,MKLにおいては疎な正則化項は必ずしも良い性能を示すわけではなく,密な正則化項の方がしばし良い汎化誤差を示すことが報告されている.このような事実を動機づけとして,本報告では任意のノルム型正則化項に対して収束レートを導く統一的な枠組みを与え,どのような正則化項が最適かを議論する.そのために,我々は再生核ヒルベルト空間の複雑さが一様な場合と非一様な場合を分けて議論する.一様な場合の議論においては収束レートが簡潔に表せることを示し,それにより既存研究よりタイトならl_p-MKLの収束レートが得られることを示す.さらに,ノルムが等方的な場合,得られた収束レートがミニマクスレートを達成することを示す.得られた収束レートから,複雑さが一様な場合は等方的ノルムの中でl_1-ノルムが最適であることが示される.次に,複雑さが非一様な場合を考え,その場合にはl_1よりも密な正則化項の方が良い性能を示すことを示す.
- 2011-11-02
著者
関連論文
- スパース正則化およびマルチカーネル学習のための最適化アルゴリズムとCV・PRへの応用(CV・パターン認識のための学習・最適化)
- Density Ratio Estimation : A Comprehensive Review (Statistical Experiment and Its Related Topics)
- Density ratio estimation: a comprehensive review (Statistical experiment and its related topics--RIMS共同研究報告集)
- スパース正則化およびマルチカーネル学習のための最適化アルゴリズムと画像認識への応用
- MP-533 前立腺癌の間欠的ホルモン療法の数理モデルによる解析(一般演題ポスター,第94回日本泌尿器科学会総会)
- 凸最適化に基づくテンソル分解の統計的性能について (情報論的学習理論と機械学習)
- エラスティックネット型正則化を用いたマルチプルカーネル学習の速い収束レート(主成分分析,テキスト・Webマイニング,一般)
- 凸最適化に基づくテンソル分解の統計的性能について(機械学習とその応用)
- 疎でないマルチプルカーネル学習の速い収束レートおよび最適な正則化に関して(ポスターセッション,第14回情報論的学習理論ワークショップ)
- 疎でないマルチプルカーネル学習の速い収束レートおよび最適な正則化に関して
- Convergence Analysis and Adaptively Weighted Regularization for Multiple Kernel Learning (Fundamental Technologies for the Next-Generation Computational Science)
- 統計的学習理論概説(サーベイ,機械学習研究部会)