スキップマルコフ連鎖モデルを用いた日本文の誤り検出、訂正方法

概要

論文の詳細を見る
OCRや音声認識装置等から入力された文に含まれる誤りを自動的に検出する方法の一つとして、誤り箇所におけるマルコフ連鎖モデルの文字連鎖確率が連続して減少し、その減少回数が、誤り種別と誤り文字数に依存することに着目した方法が提案されている[6]。この方法には、(1)脱落誤りの検出精度が置換または挿入誤りなどと比べて低いこと、(2)置換、挿入および脱落の誤りが組み合わさった混合誤りを正しく検出・訂正できないこと等の問題がある。本論文では、その解決法として、離散的な文字の結合力をみるスキップタイプのマルコフ連鎖モデルを用いる方法を提案した。また、この方法を日本語新聞記事(擬似的に発生させた標本文3, 400件の誤り)を用いて、検出と訂正の実験を行い、従来の方法と比較評価した。その結果、脱落誤りについては、検出精度が(再現率と適合率の調和平均で)14%程度向上し、その検出精度は90%程度となった。また、混合誤りについては、「置換1文字+脱落1文字誤り」で検出精度が93.4%、訂正精度が61.1%、「置換1文字+挿入1文字誤り」で検出精度が90.4%、訂正精度が83.3%であることがわかった。
社団法人電子情報通信学会の論文
2000-03-17