全文検索用文字成分表の一圧縮方式

概要

論文の詳細を見る
文書登録時に人手によるキーワード選定などが不要で、検索時には自由なキーワードでの検索が可能な全文検索システムが注目されている。そこで用いられる検索手法は、全文走査法、転置法、シグネチャファイル法の3種類に大別できる。全文走査法は単独では検索速度に限界があり、転置法は、全文DB本体に加えた転置ファイルの容量オーバヘッドが大きいことや、日本語では自動単語分割(形態素解析)での誤りが避けられないことなどが問題になる。そこで、実用システムではシグネチャファイル法と全文走査法を粗み合わせた多段検索の形態がよく用いられている。シグネチャファイル法は、転置法に比べると容量オーバヘッドが小さいが、過剰検出(ゴミ)が発生する。多段検索は、まずシグネチャファイル法で全文DBを荒く絞り込み、その絞り込んだ範囲のみに全文走査法を適用する(結果としてゴミが除去できる)方式である。シグネチャの作成法として、英文では単語のハッシュ値を文書ごとに重ね焼きする方法が一般的である。それに対して日本語文については、単語分かち書きの習慣がない反面、文字自体が文書内容の表現力をある程度もっていることから、文字成分表をシグネチャファイルとする方式が考案された。一般的なシグネチャファイルの圧縮については既に各種方式が考案されているが、本稿では文字成分表に特有の圧縮方式に絞って比較検討する。そして、絞り込み効果をできる限り低下させずに圧縮する方式を提案し、その効果を示す。
一般社団法人情報処理学会の論文
1993-09-27

全文検索用文字成分表の一圧縮方式

スポンサーリンク

概要

著者

関連論文

スポンサーリンク