曖昧観測シンボル列からのHMMパラメータ推定法とその形態素解析への応用

概要

論文の詳細を見る
曖昧な観測シンボル系列から確率モデルを推定する手法を検討した。我々の提案している推定手法は、N-gramだけでなく、HMM(Hidden Markov Model)も推定可能である。手法を評価するために、タグなしコーパスと辞書だけから日本語の品詞列あるいは単語列の確率モデルを推定し、日本語の形態素解析システムに応用した。タグなしコーパスから確率モデルを推定する場合、ノイズが大きな問題となるが、本報告ではさらに信頼性係数を導入し、ノイズによる影響の軽減を試みた。形態素解析による実験結果から、HMMと信頼性係数の有効性を確認した。モデルの違いによる性能の差は、ノイズが大きい場合はbigramなどの単純なモデルが良く、信頼性係数によってノイズの影響がある程度押えられるとHMMが良い性能を示した。しかし、信頼性係数を最大限に利用した場合は、確率モデルの違いによる性能の差を、今回の実験では示すことはできなかった。これは、ノイズによる手法の限界が、確率モデルの性能を下回ってしまったためと考えられる。
一般社団法人情報処理学会の論文
1996-05-28