分類規則を学習するときに確率1で真のモデルを選択する情報量基準のクラスについて

概要

論文の詳細を見る
本論文では、情報量基準に基づいた分類のためのモデル選択を検討している。分類では、真の条件付確率P(y|x)に基づいて、属性xからクラスyが推定される。ここで、x∈X、y∈Yであり、またX、Yは各々有限、無限集合である。モデル選択では、与えられた例に基づいて、ある情報量基準を最小にするモデルが選択される。我々が本論文で扱う情報量基準は、経験的エントロピーに(k(g)/2)d(n)なる補正項を加えた形式になっているものである。ここで、k(g)はモデルgにおける独立なパラメータの数、d(n)はnのある関数、nは例の数である。我々は、最初に任意の関数d(・)について、漸近的に正確なモデル選択の誤り率を計算する。また、自己回帰モデルの次数選択問題では、HannanとQuinnによってd(n)=log log nが強一致性を満足することが示されているが、同じことが分類に関していえるかどうかはこれまで未解決であった。本論文では、その問題を肯定的に解決している。この他、弱一致性を満足するd(・)に関して、真の条件付確率P(y|x)とモデル選択とあるパラメータの推定方法によって求められた条件つき確率P^^^(y|x)との間のKullback-Leibler情報量の上界が求められている。この上界は十分きつくなっていて、主要項はk(g^*)/(2n)になっている。ここで、g^*は真のモデルである。したがって、弱一致性を満足する情報量基準を用いている限り、その累積の誤差は(k(g^*)/2)log n+O(1)となり、そのモデル選択を前提にした予測的符号化の最適性が保証される。
一般社団法人電子情報通信学会の論文
1997-07-18

著者

鈴木譲
大阪大学大学院理学研究科

分類規則を学習するときに確率1で真のモデルを選択する情報量基準のクラスについて

スポンサーリンク

概要

著者

関連論文

スポンサーリンク