字面処理による日本文誤り検出の一方式

概要

論文の詳細を見る
我々は,字面処理あるいは形態素解析に基づいて,日本語文章中の誤りを検出する手法の研究を行っている。一般的に文字コードだけを主な情報とする字面処理に基づく手法は,形態素解析に基づく場合よりも誤り検出能力が低いと考えられる。しかし,(1)高速な処理が可能である,(2)実現が比較的容易である,などの特長もあり,誤り検出能力と併せて評価しなければ,実用性がないと断言することはできない。また評価の結果,実用的でないことが明らかになったとしても,形態素解析やさらに高度な誤り検出手法を評価するための比較データとして,その誤り検出能力を明らかにしておく必要がある。さて,字面処理で文中の誤りを検出する代表的ツールに,英語のspelling checkerがある。これは,空白で区切られた文字列パターン(単語)を辞書と照合し,辞書にないものを誤りであると指摘する。日本語は英語と違い,文中の単語を分かち書きする習慣がない。したがって,単語単位で辞書と照合するこの手法をそのまま応用するためには,字面処理の枠組みを越えた,形態素解析が必要になる。しかし,誤り検出のために辞書と照合する単位が,単語である必然性はない。そこで我々は,日本文の字種(漢字,平仮名,片仮名,英字,数字等)の変化に着目して文から文字列パターンを切り出し,それを辞書と照合するという方式で,誤りをどの程度検出できるのかを調べた。実験は,パターン切出し規則(後述)を変え,3回行った。本稿では,3回の実験のそれぞれの誤り検出能力を,第1種の検出誤り(誤りを見逃す),第2種の検出誤り(誤りでないものを検出する)の観点から調べた結果を報告する。
一般社団法人情報処理学会の論文
1992-02-24

字面処理による日本文誤り検出の一方式

スポンサーリンク

概要

著者

関連論文

スポンサーリンク