連語を組み込んだ統計言語モデル

スポンサーリンク

概要

論文の詳細を見る
日本語には慣用表現などの比較的固定的な表現(以下、「連語」と呼ぶ)が数多くある。我々は、この連語を従来の統計言語モデルに組み込む方法を提案し、またその効果について検証する。テストセットパープレキシティを求めた結果、従来の言語モデル(バイグラム)と比較して、連語が出現する評価データでは約8%の性能が改善できた。しかし、連絡が出現しない評価データでは、若干の性能悪化が見られた。そこで、この性能悪化の問題の改善方法についても考察する。
一般社団法人情報処理学会の論文
2000-12-21

著者

関連論文

スポンサーリンク