3種類の辞書による自動単語分割の精度向上

概要

論文の詳細を見る
本論文では、日本語の文の自動単語分割をある分野に適用する現実的な状況において、精度向上を図るための新しい方法を提案する。提案手法の最大の特徴は、複合語を参照することが可能な点である。複合語とは、内部の単語境界情報がなく、その両端も自動分割器の学習コーパスの作成に用いられた単語分割基準と必ずしも合致しない文字列である。このような複合語は、自然言語処理をある分野に適用する多くの場合に、利用可能な数少ない言語資源である。提案する自動単語分割器は、複合語に加えて単語や単語列を参照することも可能である。これにより、少ない人的コストでさらなる精度向上を図ることが可能である。実験では、これらの辞書を参照する自動単語分割システムを最大エントロピー法を用いて構築し、それぞれの辞書を参照する場合の自動単語分割の精度を比較した。実験の結果、本論文で提案する自動単語分割器は、複合語や単語列を参照することにより、対象野においてより高い分割精度を実現することが確認された。
一般社団法人情報処理学会の論文
2009-09-21