日本語文書検索のための頻度情報を用いた効率的部分文字列索引の提案

概要

論文の詳細を見る
文書における部分文字列の出現を記録する部分文字列索引は, 単語切り出しのための言語処理が不要という点で日本語文書検索向きである. しかし, 出現位置情報を捨象しているため誤検索が発生する, 検索語の長さに応じて検索時間が増大する, という問題があり, こうした点を改善するためには索引サイズを大きくせざるをえない. すなわち, 誤検索率・検索時間・索引サイズのすべてに優れた部分文字列索引を実現することは困難であった. 本論文では, ユーザの使用する可能性の高い検索語の処理を優先的に高速化し, 誤検索率・索引サイズを悪化させることなく平均検索時間を短縮する効率的な部分文字列索引を提案する. このために, 文字および部分文字列の2レベルの頻度を用いる. 文字レベルの出現頻度は二文字組から索引エントリを決定するためのハッシングに利用され, 検索の高速化および誤検索の低減に作用する. 一方, 部分文字列レベルの出現頻度は長い部分文字列を独立した索引エントりとして選択するために利用され, 出現頻度が高く長い検索語の処理の高速化に作用する. 特許要約文10万件(14MB)を用いて検索時間・検索精度・索引サイズの評価実験を行い, 本手法の有効性を確認できた.
1996-10-15

日本語文書検索のための頻度情報を用いた効率的部分文字列索引の提案

スポンサーリンク

概要

著者

関連論文

スポンサーリンク