最小コストパス探索モデルの形態素解析に基づく日本文誤り検出の一方式

概要

論文の詳細を見る
本論文は,形態素解析処理に基づいて,日本文の誤りを検出する新しい手法(コスト比較法)と,その誤り検出能力を提示する.われわれはまず,形態素解析処理を考察し,形態素解析が,単語をノードとする木の最小コストパス探索問題にモデル化できることに着目した.このモデルでは,単語のもっともらしくなさの程度がコストの大きさで示され,文節数最小法や最長一致法などの従来の代表的な手法は,このモデルでのコスト設定と探索制御の一例として表現できる.次に,その形態素解析モデルを,文中の誤り検出という観点から検討した.その結果,誤りを含む文を解析した場合には解析結果のコストが大きくなることを利用して,解析結果の各単語のコストをしきい値と比較することによって誤りを検出するという,従来にはない新しい手法(コスト比較法)を考案した.本研究では,コスト比較法の誤り検出能力を確認するために,単語接続確率モデルに従ってコストを設定した形態素解析を実現し,誤りを含む文を解析して,実験を行った.その結果,コスト比較法によって,多種類の誤り(誤字,脱字,仮名漢字変換誤りなど)を指摘できることがわかった.本論文では,コスト比較法の誤り検出能力の定量的,定性的実験結果を述べるとともに,誤りの正確な位置や原因の特定,誤りを判断するしきい値の設定,などの残された課題にも言及する.
一般社団法人情報処理学会の論文
1992-04-15

最小コストパス探索モデルの形態素解析に基づく日本文誤り検出の一方式

スポンサーリンク

概要

著者

関連論文

スポンサーリンク