MDL原理によるLaplace型推定量の導出と確率的PAC学習モデルによるその性能評価

概要

論文の詳細を見る
二項確率p^*∈[0,1]を、有限回の独立試行をもとに推定する問題を考える。二項確立とは、標本空間X={0,1}上の確立測度のもとで、1が起こる確立(値)をさすものとする。ここでは、p^*を定めればX上の確立測度が定まるのでp^*自体を確立測度またはモデルと呼ぶ。また、H={0,1}と書く。いま、未知のモデルp^*のもとで、N回の独立試行を行って得られる標本をζN={x_1,x_2,..、x_N}とし、このなかの1(正例)の数をkとする(以下ζNは全て同じものを指すものとする)。このとき、p^*に対する推定量(k+1)/(N+2)を、Lapkaceの推定量と呼ぶ。この推定量は通常Bayesian の立場から導かれる。即ち、モデルpの事前分布y(H上の確立測度)を一様分布として事後分布を求め、そのもとで得られるpの期待値がk+1/N+2である。しかし、実際的な場面で良い結果が得られる事が多いため、多くの実験家(非Bayesianを含めて)がこれを用いている。本稿では、(k+a)/(N+2a)(a>0)の形の推定量をLaplace型推定量と呼ぶことにし、この形の推定量がなぜ良い結果をもたらすのかを非Bayesianの立場から考察する。
1992-09-28