Suffix arrayを用いた日本語単語分割

スポンサーリンク

概要

論文の詳細を見る
事例べースの手法を用いる日本語単語分割法を提案する。本手法では、単語分割が施された事例テキストを、文字列索引法の一種であるsuffix arrayにより索引づけし、入カテキストとの照合を高速化する。また、この際に発生する無駄な照合を回避するための技法、および、最長一致長を利用する効果的かつ単純な分割法を用いる。評価実験により、既存の形態素解析システムの解析結果を事例として利用することで、そのシステムの振る舞いを99%以上の一致精度でエミュレーションすることが可能であることを示す。また単語分割の処理速度はノートPC上で1GB/hour以上の高速性を実現している。
一般社団法人情報処理学会の論文
1999-05-28

著者

関連論文

スポンサーリンク