無限次元仮説空間における正則化パラメータの決定法

概要

論文の詳細を見る
カーネル回帰における正則化パラメータの決定法について論じる.これまでに,subspcce information criterion(SIC)と呼ばれる規準が提案され,正則化パラメータを適切に決定できることが示された.SICは,学習対象の関数が再生核ヒルベルト空間Hに属し,カーネル回帰モデルがH全体を張る場合に,有限サンプルに対して汎化誤差の不偏推定量となる.これらの条件が成立する時,dim H≦M(M(<∽)はサンプル数)となるため,これまでSICは有限次元の再生核ヒルベルト空間Hにしか適用できなかった.本論文ではSICの適用範囲を拡張し,カーネル回帰モデルがH全体を張らない場合でも,SICが汎化誤差の本質的な部分の不偏推定量となることを示す.この拡張により,dim H>Mとなる場合もSICが適用できるようになり,無限次元の再生核ヒルベルト空間Hも扱うことができるようになる,更に,カーネル行列が正則な場合はSICが簡単な形で表現でき,非常に効率良く計算できることを示す.最後に,拡張したSICによって正則化パラメータが適切に決定できることを,人工データと実データを用いた計算機実験で示す.
2002-03-11