辞書に依存しない文章間類似度の比較評価手法(語彙・意味)

概要

論文の詳細を見る
高速なネットワークで世界中が相互に接続される現代社会は便利である反面,それを用いた犯罪や情報の流出などが常態化し,社会問題となっている.そのため,イントラネットを監視するための一技術であるネットワーク・フォレンジックが発達してきた.しかし,情報流出に繋がった可能性のあるメールなどを探索する際に用いられるのは,特定のキーワードがその本文に含まれているか否かによって判定する,というような極めて単純な手法が多い.しかし,このような素朴なアプローチでは重要な情報を取りこぼすか,あるいは誤検出するであろうことが容易に想像できる.そこで,ネットワークを通過したテキストデータと,既存の重要文書の関連性を推測する必要があるが,そのためには何をもって二つの文章が類似しているとみなすか,という一定の評価基準が必要となる.本稿では,文法や辞書などの事前知識に極力依存せず,文章の表層的な特徴に基づいて特徴点となる単語を抽出し,それを用いて文章間における類似箇所を発見する手法について提案する.
一般社団法人情報処理学会の論文
2008-01-21