大規模テストコレクション構築について : NTCIR-1の訓練用検索課題の分析

概要

論文の詳細を見る
本稿では、評価用ツールとしてのテストコレクションにおける検索課題の性質について考察する。検索課題の望ましい性質として、「自然さ」と「難易度のバランス」があげられる。自然さとは、検索課題の内容が現実の検索過程においてシステムに与えられる検索要求と同様に自然なものでなければならないということである。「難易度のバランス」とは、検索課題が易しいすぎるものばかりでも難しすぎるものばかりでも、テストコレクション全体の性質が偏ったものになるので、難易度のバランスがとれているのが望ましいということである。 NTCIR-1では、検索課題を自然なものとするため、分野の研究者から収集している。本稿では、検索課題の難易度について、NTCIR-1の訓練用検索課題を用いて、検索課題そのものについて分析し、予備テストの評価結果との関連を調べた。その結果、検索課題ごとの平均精度の中央値と、検索課題中の検索要求文の文字数、検索要求文中の単語がの出現する正解文書数、機能分類のそれぞれとには明らかな関連性は見られないものの、機能分類によるグループ分けは検索課題の難易度を予測するために、ある程度の参考になることがわかった。また、提出結果の平均精度の度数分布から、易しい検索課題、難しい検索課題というグループ分けの中でもその性質は一様ではないことがわかった。
一般社団法人情報処理学会の論文
1999-07-16

大規模テストコレクション構築について : NTCIR-1の訓練用検索課題の分析

スポンサーリンク

概要

著者

関連論文

スポンサーリンク