N-gram記号連鎖確率の統計的性質

概要

論文の詳細を見る
N-gramは、記号n個の連鎖共起に基づく、簡単な確率的記号連鎖(言語)モデルである。特に、過去n-1個の記号がわかっているとき、次に記号w'が出現する条件つき確率P(W,|W^<t-1>_<t-n+1>) where (W^<t-1>_<t-n+1>=W_<t-n+1>,W_<t-n>,…,W_<t-1> (1)をn-gram確率と呼ぶ。特にn=1,2,3に対して、それぞれunigram, bigram, trigram確率という呼称が用いられる。N-gram確率は、コーパス(事例集)中の記号のn個連鎖及びn-1個連鎖を数え上げることによって簡単に求めることができる。P(W_t|W^<t-1>_<t-n+1>)≅<C(W^t_<t-n+1>)>/<C(W^<t-1>_<t-n+1>)> (2) where C(W^t_<t-n+1>):occurrence count of n-symbol sequence W^t_<t-n+1> in a corpus C(W^<t-1>_<t-n+1>):occurrence count of (n-1)-symbol sequence W^<t-1>_<t-n+1> in a corpus (1)式の条件つき確率の種類は、記号数をnとするときM^nである。例えば5000単語の3-gramに対して1.25 x 10^<11>であり、よほど巨大なコーパスを用いても、精度の高い確率推定を行うことは難しい。ゆえに、n-gram記号連鎖モデルにおいては、上手に確率の平滑化を行うことが重要な技術となる。本報告では、コーパス中の音素連鎖に関し、n-gram確率の平均値や分散を相互に比較し、どのような平滑化に妥当性があるのか検討する。またKatzのback-off平滑と深く関わるTuringの推定分布を実際に観察する。
社団法人電子情報通信学会の論文
1996-03-11

N-gram記号連鎖確率の統計的性質

スポンサーリンク

概要

著者

関連論文

スポンサーリンク