NTCIR-3言語横断検索タスクの分析 : プーリングを中心として

スポンサーリンク

概要

論文の詳細を見る
大規模テストコレクションNTCIR-3の言語横断検索システム評価用データの適合文書リストは、NTCIRワークショップ3の言語横断検索タスクにおいて、各参加者から提出された検索結果を用いて、プーリング法に基づいて作成された。本研究では、その過程で用いられたサブタスク混合プーリングが、検索結果の性能評価の公平性にどのような影響を与えるかについて考察する。日本語文書についてのプーリングおよび評価実験を行なった結果、サブタスク混合プーリングで作成した適合文書リストと、サブタスクごとのプーリングで作成した適合文書リストとでは、相対的な評価結果に違いがある場合があり、1つのサブタスクのみからのプーリングは評価に影響を与える可能性があることがわかった。ただし、単言語検索の検索結果全てから文書をプールした場合には、そのプールは、サブタスク混合プーリングで集めた適合文書の9割以上をカバーするため、相対的評価にはほとんど影響がなかった。
2003-11-13

著者

関連論文

もっと見る

スポンサーリンク