連語を組み込んだ統計言語モデル
スポンサーリンク
概要
- 論文の詳細を見る
日本語には慣用表現などの比較的固定的な表現(以下、「連語」と呼ぶ)が数多くある。我々は、この連語を従来の統計言語モデルに組み込む方法を提案し、またその効果について検証する。テストセットパープレキシティを求めた結果、従来の言語モデル(バイグラム)と比較して、連語が出現する評価データでは約8%の性能が改善できた。しかし、連語が出現しない評価データでは、若干の性能悪化が見られた。そこで、この性能悪化の問題の改善方法についても考察する。
- 社団法人電子情報通信学会の論文
- 2000-12-15
著者
関連論文
- 連語を組み込んだ統計言語モデル
- 連語を組み込んだ統計言語モデル
- 連語を組み込んだ統計言語モデル
- E_038 日本語文末表現の取り扱いについて(E分野:自然言語)
- 格助詞「に」の深層格推定 : 格助詞の意味再考(含意関係認識・解析・語彙)