単語解析プログラムによる日本文誤字の自動検出と二次マルコフモデルによる訂正候補の抽出

概要

論文の詳細を見る
日本文に含まれる誤字を対象に誤字検出実験と訂正候補抽出実験を行い, 誤字の自動検出訂正の可能性を明らかにした. 誤字検出実験では, 正しい文章の解析のために作成した単語解析プログラムを誤字検出を目的とする日本文チェッカとして使用した結果, 68%の誤字検出率を得たが, 検出不能の誤字例を分析した結果, 文節解析レベルのチェック機構の拡充と構文解析レベルのチェック機構の導入で, 誤字検出率はそれぞれ89, 93%に向上する見込みを得た. 訂正候補の抽出では, 誤字検出実験で検出した誤字に対して二次マルコフモデルを適用し, 誤字の前後の文字からみて接続確率の高い文字を候捕文字として抽出した. また, 誤字検出での検出特性に着目して正解文字の字種を確率的に推定することにより, 抽出した候補文字の正解含有率の向上を図った. 誤字検出実験では誤りを検出したとき, 誤りの位置を正確に知ることは困難で, 誤りを含む文字区間とその区間内の文字の誤り確率が与えられる. そこで, 訂正候補の抽出では, 誤りの検出された区間に対して訂正文字列候補を抽出した. その結果, 抽出された訂正文字列候捕は上位15位までで約60%の正解含有率をもつこと, 誤りの位置が正確にわかれば, 正解含有率は10〜25%向上することなどがわかった. これらの結果は, 漢字OCRの誤読文字, リジェクト文字の救済等に応用できるものと期待される.
1984-03-15

単語解析プログラムによる日本文誤字の自動検出と二次マルコフモデルによる訂正候補の抽出

スポンサーリンク

概要

著者

関連論文

スポンサーリンク