実世界テキストセクメンテーション

スポンサーリンク

概要

論文の詳細を見る
テキスト自動分割(テキストセクメンテーション)は中国語計算機処理におけるボトルネックになっている。辞書を利用してテキストセクメンテーションを行う際に、主に次のような3つの問題、即ち(1)辞書の構造と高速な分割アルゴリズム、(2)分割曖昧性の解消、(3)新単語の検出、を解決しなければ成らないと考える。本論文では、単語の特徴と統計情報を利用し、規則に基づく手法と統計に基づく手法を融合した統合アプローチを提案する。まず、我々の開発した高速的なセクメンテーションアルゴリズムを記述し、その基盤となる辞書構造を紹介する。そして、セクメンテーション曖昧性の発現と解消方法を提案する。最後に、この手法に基づいたシステムの実験結果を報告する。
一般社団法人情報処理学会の論文
1998-05-28

著者

関連論文

スポンサーリンク