マルコフ連鎖モデルによる日本語文と英語文の誤り検出評価

概要

論文の詳細を見る
本論文では、OCRや連続音声認識によって入力された日本語文や英語文における、脱落、誤挿入、及び誤字誤りの文字列を、2重及び3重のマルコフ連鎖モデルを用いて自動的に検出・訂正する効果を、実際に日本語及び英語の新聞記事を用いて評価すると共に、既存のスペルチェッカーによる英字誤りの検出・訂正結果と比較した。その結果、次のような知見を得た。(1)日本語音節の3種マルコフ連鎖モデルを用いて誤り検出は、2重マルコフ連鎖確率の場合よりも、挿入誤りで10〜20%、また脱落及び誤字誤りで5〜10%程度適合率及び再現率を改善する効果があることがわかった。(2)マルコフ連鎖モデルを用いた英単語に対する誤り検出の適合率、再現率は、日本語の音節文節に対する誤り検出の場合とほぼ同程度または若干小さい値が得られた。また既存のスペルチェッカーは、誤った単語に対する学習をしない条件の下では、誤った単語のほとんど全てを検出するが、訂正能力についてみれば、1文字誤りの場合は正解候補が得られる割合は80%であるのに対し、2文字誤りの場合の正解候補は10%に低下するため、誤り単語の検出についてはスペルチェカーが、また訂正についてはマルコフ連鎖モデルによる方法が有利であると考えられる。
社団法人電子情報通信学会の論文
1993-12-10

マルコフ連鎖モデルによる日本語文と英語文の誤り検出評価

スポンサーリンク

概要

著者

関連論文

スポンサーリンク