造語モデルにおける状態遷移確率推定法について

概要

論文の詳細を見る
日本語文の形態素解析においては多くの瞹昧さが存在する。その絞り込みを行う方法の一つとして,単語の生起確率を利用することが考えられる。しかし一般に用いられている単語の数は極めて多く,この確率を統計的に得ることは極めて因難である。そこで我々は単語の造語モデルを構成し,このモデルによって単語の生起確率を推定する研究を行ってきた。造語モデルの構築には,モデルにおける状態遷移確率の付与が必要である。造語モデルではこの確率を統計的に得ることをせず,単語辞書の見出しを活用して状態遷移確率を得ている。この推定において従来用いてきた方法は,造語モデルから得られる単語辞書の登録語の生起確率の総和を高めることで,未登録語の生起確率を相対的に低く抑えようとするものであった。しかしこの方法では,登録語でありながら、多くの未登録語よりも生起確率がかなり低くなってしまうような場合がある。辞書へは出現頻戸の高いものが優先的に登録されるであろうとの観点からすると,これは望ましい性質とは言えない。そこで本論文では,全ての登録語が比較的高い生起確率を持つように,造語モデルにおける新しい状態遷移確率推定法を提案する.これにより,一部の登録語が極端に低い生起確率を持つようなことを避けることができる。
一般社団法人情報処理学会の論文
1992-02-24

造語モデルにおける状態遷移確率推定法について

スポンサーリンク

概要

著者

関連論文

スポンサーリンク