マルコフモデルを用いて漢字かな混じり文候補を選択する方法

概要

論文の詳細を見る
これまでに、文節単位のべた書きかな文字列から変換された大量の漢字かな混じり候補を、文節内の漢字かな文字のマルコフモデル(文節マルコフモデルと呼ぶ)を用いて絞り込む方法が提案され、その有効性が示されている。本論文では、従来の文節マルコフモデルを用いて絞り込まれた漢字かな混じり文節候補を、相互に組み合わせて作られる文候補ラテイスから、最も確からしい文候補を絞り込む方法(文マルコフモデルと呼ぶ)を提案する。実際に、43万語単語辞書を参照して、新聞記事77日分の統計データを用いた実験を行った結果、次のような知見を得た。1.文節マルコフモデルと文マルコフモデルを用いた絞り込み方法は、文マルコフモデルを単独で用いる方法より、累積正解率で5-10%程度優っていることがわかった。2.正規化された文マルコフモデルを用いる方法は、正規化しない文マルコフモデルを用いる方法より劣っていることがわかった。3.文マルコフモデルを用いる方法は、第一位の文節候補を全て用いて文候補を生成する方法に比べて、累積正解率で5%(標本外データ)-18%(標本内データ)改善されることがわかった。
1995-01-20