大規模テストコレクションNTCIR-2の構築 : 対話型追加検索と言語横断的プーリングの効果(<特集>情報の検索とテストコレクション)

概要

論文の詳細を見る
大規模テストコレクションNTCIR-2の正解文書リストは,NTCIR ワークショップ2において各参加者から提出された検索結果を用いて,プーリング法に基づいて作成された.本稿では,NTCIR-2の正解文書リストの作成過程において行われた,言語横断的プーリング,および対話型検索システムを用いた追加検索が,検索システムのNTCIR-2を用いた相対的評価にどのような影響を与えるかを考察する.また,プーリングに参加しなかったシステムを評価する場合に,プーリング法で作成したNTCIR-2が有効であるかどうか調べる.本研究では,NTCIR-2の正解文書リストと,NTCIR ワークショップ2の参加チームの提出結果を用いて評価実験を行った.まず,最終的な正解文書リスト Fと,Fから追加の対話型検索Iだけで見つかった文書を除いた正解文書リストF-Iを用いて、提出結果の評価を行った.次に,各サブタスクごとの提出結果からプーリングを行い,このサブタスクごとのプールを正解文書リストとして用いた場合の評価を行った.さらに,プーリングに参加しなかったシステムの評価をシミュレートするため,Fから同じシステムの提出結果の集合だけに含まれている正解文書Sを除いた正解文書リストF-Sを用いて,そのシステムの提出結果を評価した.いずれの場合でも,提出結果の平均精度の平均による順位付けを行い,相対的評価とした.結果として,どの文書リストを正解文書リストとして用いて提出結果の評価を行っても,提出結果の相対的な順位はほとんど変化しなかった.また,そのシステムだけが見つけた正解文書を除いても,すなわち,そのシステムがプーリングに参加しなくても,そのシステムの提出結果の評価にはほとんど影響がなく,プーリングに参加した他システムとの相対的評価についても影響がないことが分かった.このことから,プーリング法に基づいて作成したテストコレクションの信頼性を確かめることができた.
一般社団法人情報処理学会の論文
2002-03-15

大規模テストコレクションNTCIR-2の構築 : 対話型追加検索と言語横断的プーリングの効果(<特集>情報の検索とテストコレクション)

スポンサーリンク

概要

著者

関連論文

スポンサーリンク