語彙的結束性と単語重要度に基づくテキストセグメンテーション

概要

論文の詳細を見る
情報検索・文書要約・文書分類などに代表される文書処理技術の精度向上や文書の構造解析に必要な基盤技術としてテキストセグメンテーション技術が注目されている.テキストセグメンテーションの代表的な手法として, 文書内の同一語の繰り返しによる語の結束性を用いるTextTiling法が提案されている.しかし, TextTiling法では比較的短い文書を処理対象とした場合には十分に精度を得られれるとは限らない.本稿では, 文書内の単語の共起を考慮した結束性に基づくテキストセグメンテーション法と文書内における文の重要度の変化に基づくテキストセグメンテーション法をそれぞれ提案し, さらに, 両手法を相補的に統合することで短い文書でも適用可能である高精度なテキストセグメンテーション法を新たに提案する.1件が20文程度の新聞記事326件を対象として, その形式段落を話題境界の正解データに用いて提案手法を評価した.その結果, 形式段落との完全一致では適合率31.8%, 再現率21.3%, 形式段落の近傍での出力も正解に含めた場合には適合率64.7%, 再現率43.5%であり, 既存手法より高精度なテキストセグメンテーション法を実現できた.
一般社団法人情報処理学会の論文
2000-05-15