全文検索のための字面解析による単語分割

スポンサーリンク

概要

論文の詳細を見る
本論文では、辞書を用いない字面解析による単語分割手法を提案する。本手法ではまず、対象文書からルールにより単語抽出を行う。単語抽出は、字種パターンとその前後を抜き出したnグラムを作成して行う。この際、ルールを詳細化して高精度化を図ると共に複数の方式を併用することにより抽出単語数を確保した。このように得られた単語と分割用ルールを相補的に用い、形態素解析に似たアルゴリズムを採用することで、字種変化点にとらわれない精度の高い分割に成功した。本手法はクローズドデータの処理方式での実験の結果として、新聞データに対して適合率90.2%,再現率85.8%を得ることができた。
一般社団法人情報処理学会の論文
1999-07-22

著者

関連論文

スポンサーリンク