多段階レレバンス判定による評価 : 平均可能な単一指標の検討

概要

論文の詳細を見る
本稿では、多段階レレバンス判定に適応できる新しい情報検索システムの検索有効性評価指標を提案する。検索された文書の検索質問への適合性(レレバンス)判定は、検索有効性評価のもっとも基本的な要素の1つである。検索では、通常、より適合性の高い文書がより早く(より上位のランクで)検索されることが望ましい。しかしながら, 従来、検索有効性を示す精度と再現率は、「適合」「不適合」の二値判定に基づいて算出され、「より適合性が高い」という側面を評価できなかった。テストコレクションを用いる情報検索システムの実験室型評価では、多数の検索を行い、それぞれの評価値を平均することで安定した評価が可能である。そこで、本稿では、既存の検索有効性指標の特性を検討し、それを踏まえ、扱いやすい単一の平均可能な指標として、重み付きR精度と重み付き平均精度を提案し、「高適合」、「適合」、「部分的適合」、「不適合」の4段階レレバンス判定を採用した第2回NTCIRワークショップの日本語検索タスクの提出結果を評価した例をしめす。最後に、多段階レレバンス判定による評価と、利用者指向の検索システム評価との関連にも言及する。
一般社団法人情報処理学会の論文
2001-07-24

多段階レレバンス判定による評価 : 平均可能な単一指標の検討

スポンサーリンク

概要

著者

関連論文

スポンサーリンク