最大エントロピー法を用いてバイグラム確率からnグラム確率を求める

スポンサーリンク

概要

論文の詳細を見る
文字や単語のnグラム確率は統計的言語処理で強力な道具立てである。しかし、nが大きくなると推定すべきnグラム確率(パラメータの数が増加し、推定精度が低下するとともに、確率の値を格納する領域も大きくなるという問題があった。本文では、nグラム確率をn個の確率変数の同時分布と捉え、それらの確率変数に対する2次の周辺分布としてバイグラム確率を考える。その上で、周辺分布から同時分布を求める一般的手法である最大エントロピー法を適用して、バイグラム確率からnグラム確率を求める手法を提案する。本手法によって、パラメータの数を増加させることなく、精度良くnグラム確率を求めることができる可能性がある。次に、本手法を、文字トライグラムに適用して、有効性を実験する。その結果、(1) トライグラム自体を用いるよりも、未知データに対する被覆率が高くなること、(2) 隣接バイグラムのみを用いる手法よりも、精度が高いこと、などが分かった。
一般社団法人情報処理学会の論文
1996-05-27

著者

関連論文

もっと見る

スポンサーリンク