高速全文検索のためのフレキシブル文字列インバージョン法(1)方式概要

概要

論文の詳細を見る
インターネットの爆発的な普及やイントラネット構築ブームを背景に、大規模で多様なテキスト情報の効率よい管理・検索に対するニーズは非常な高まりを示している。対象となるテキストは新しい話題・用語を次々に取り込んで増加し、幅広い層のユーザが多様な視点から検索することを考えると、テキストをあらかじめ少ないキーワード集合で抽象化しておくアプローチでは限界がある。テキスト全文をそのまま検索対象とし、大規模なテキスト集合に対する高速な全文検索を実現する技術が望まれている。専用ハードウェアを用いようと大規模テキストの全文走査はもはや現実的でない。したがって、高速全文検索の実現にあたっては、インバーテッドファイルの設計が重要なポイントになる。インバーテッドファイルの形式は、(1)キーとしてテキストから単語を取り出すか(=1a)/文字列を取り出すか(=1b)、(2)キーに対応づける位置情報をテキストIDのみとするか(=2a)/テキストID+オフセット(テキスト内位置)とするが(=2b)、の組み合わせにより4通りに大別できる。キーとして単語を取り出すタイプ(h×2a)(h×2b)では、形態素解析誤りや未知語に起因するキーの登録洩れや誤登録が発生する(結果として検索洩れを生む)。また、キー文字列にテキストIDを対応づけるタイプ(1b×2a)は、検索条件語を複数の部分文字列に分解してインバーテッドファイルと照合するだけでは検索ノイズ(過剰ヒット)が避けられない。後処理として全文走査を実行すれば検索ノイズは除去できるが、その場合、全文走査による検索レスポンスの低下と、オリジナル文書形式と別にプレインテキストも保存せねばならない連用上のオーバヘッドが発生する。本論文で提案するフレキシブル文字列インバージョン法(以下ではFSI法と略す)は、(1b×2b)タイプに属する。FSI法では、検索レスポンスの高速化のために位置情報データの読み出し書を削減する方針をとり、文字列統計に基づくキー文字列長の設定と縮退文脈の付与、位置情報データの圧縮手法などを導入した点が特長である。
一般社団法人情報処理学会の論文
1996-09-04

高速全文検索のためのフレキシブル文字列インバージョン法(1)方式概要

スポンサーリンク

概要

著者

関連論文

スポンサーリンク