レレバンスフィードバックにおける検索語の共起関係推定処理の高速化

概要

論文の詳細を見る
レレバンスフィードバックを実現する手法であるRocchioフィードバックは, 文書検索の精度を向上させる有効な手法として知られている.筆者らは検索された文書に適当なスコアを与えるため, 決定木学習アルゴリズムID3を用いて検索語間の共起関係を抽出し, 検索結果の優先順位に反映させることでRocchioフィードバックの検索精度を向上させる手法をこれまでに提案した.この際, 検索者により必要ないし不要の判定をされていない文書(非サンプル文書)を仮想的な不要文書としてID3に与えることで, より高い精度向上効果が得られることが分かっているが, 扱う文書データベース中の文書数に比例して共起推定の処理時間が増加するという欠点があった.本稿では非サンプル文書の集合において, 検索語が互いに独立かつ一様な確率で各文書に分布していると仮定することによりID3の決定木に登場する非サンプル文書の数を推定し, 実際の非サンプル文書集合の代用とすることで, ID3で処理する学習例数を減少させる手法を提案する.実験の結果, 提案手法は従来手法とほぼ同等の検索精度向上を実現し, 共起推定処理は10倍以上高速化できることが分かった.
一般社団法人情報処理学会の論文
2001-10-15