索引の動的ロードによる全文検索方式の高速化

概要

論文の詳細を見る
電子メディアの著しい普及に伴い, 様々な分野で大規模な文書の電子化が急速に進んでいる。次世代電子図書館システムの構築において, 大規模電子化文書に対する効率のよいテキストの検索技術は, 不可欠である。全文検索技術は, テキストの形態やデータベース構造等に依存せず実用的な検索を実現できる点で非常に有効であると考えられる。しかし, 検索対象は日々急速な勢いで増加しており, 非常に大規模な検索対象に対しても実用的な速度で検索が可能であることが要求されている。本発表で述べる全文検索システムでは, 可変長の疑似語句を索引語として登録する方式を採用している。検索を高速化するため, 語句の先頭部分に対応するインデックス(以降先頭インデックスと呼ぶ)をメモリ上に展開する。しかし, 大規模な本文データに対する索引では, 語句集合も大規模なものになるため, メモリ上に展開される先頭インデックスのメモリ量も大規模になりがちである。このような状況では, 検索演算処理にはさらにメモリ上に広い作業領域が必要とされるため, 先頭インデックスはできるだけ小さく実現することが望まれる。語句集合は, 本文データの性質によって偏りがあることから, 本発表では, 大規模な検索対象に対しても有効に検索が可能となるよう, 語句の先頭の文字並びに関する頻度情報や文字種をもとに, メモリ上へのロード部分を動的に決定する手法について述べる。
一般社団法人情報処理学会の論文
1997-09-24

索引の動的ロードによる全文検索方式の高速化

スポンサーリンク

概要

著者

関連論文

スポンサーリンク