ユニバーサルなベイズ測度(機械学習)

概要

論文の詳細を見る
MDL基準やベイズ基準で、長さnの各データ系列z^n=z_1…z_n(A:有限集合として、z_i∈A)に対して、ベイズ測度の値Q(z^n)に-logをとって、nでわった値がn→∞でエントロピーに収束するように、ベイズ測度を構成する。モデル選択などで、z^n∈A^nの真の確率Pがわかっていれば、z^nのもとで最も事後確率を最大にするモデルFを選ぶことになるが、多くの場合、データz^nだけが利用可能で、Pではなく、Σ_<z^n>Q(z^n∈A^n)≦1なるQ:A^n→[0,1]を使わざるを得ない。本論文では、各属性が離散でも連続でも適用可能な拡張を検討する。最も本質的な問題は、一般的な状況で、どんなQがPの代用になりうるか、ということである。本論文では、その条件をPのQについてのRadon-Nikodym微分の言葉で表現し、具体的なベイズ測度Qを構成する。真のPが何であってもという意味で、Qはユニバーサルである。本論文の結果は、MDL基準の一般化にもなっている。
一般社団法人電子情報通信学会の論文
2013-07-11