大規模テストコレクション構築のためのプーリングについて :NTCIR-1の分析
スポンサーリンク
概要
- 論文の詳細を見る
本研究の目的は,(1)大規模テストコレクションを構築する手法としてのプーリングの有効性を検証し,(2)プーリング件数が検索システムの評価に関連があるかどうか調べ,(3)正解判定の際の判定のゆれがシステムの評価に関係してくるかどうかを明らかにすることである. (1),(2)のために,NTCIR-1 の訓練用正解セットを使用した予備テスト,および,評価用セットを使用した評価テストのそれぞれで提出された結果を用いてプーリング実験を行なった.その結果,プーリング法の有効性,すなわち,作成された正解リストの網羅性,および,プーリングによって作成された正解文書リストの評価に対する公平性が確かめられた. (3)のために,NTCIR-1の評価用セットを構築する際に行なった,異なる判定者による3種類の正解判定結果(判定者A,Bそれぞれによる判定, 両者の協議による最終判定)を用いて評価実験を行なった.結果として,検索精度の平均を用いた順位付けは,異なる正解判定結果間ではほとんど変化せず,順位付けによる相対的な評価においては,判定者間の判定のゆれはあまり問題にならないということがわかった.
- 国立情報学研究所の論文
著者
-
神門 典子
学術情報センター
-
江口 浩二
国立情報学研究所
-
江口 浩二
学術情報センター
-
栗山 和子
学術情報センター研究開発部
-
栗山 和子
白百合女子大学文学部
-
野末 俊比古
学術情報センター
-
栗山 和子
学術情報センター
関連論文
- 〈情報処理学会 情報学基礎研究会 (F1) 第96回 発表論文〉 Q&Aサイトにおける質問と回答の分析（2） : 文の構造と属性を中心に （筑波大学東京キャンパス（秋葉原地区）. 2009年11月19日）
- 〈発表論文〉 NTCIR-3 言語横断検索タスクの分析 ： プーリングを中心として （情報処理学会 情報学基礎研究会（FI） 第73回）
- NTCIR-3言語横断検索タスクの分析 : プーリングを中心として
- 大規模テストコレクション構築のためのプーリング : NTCIR-3言語横断検索タスクの分析(コーパス分析・言い換え)(セマンティックウェブと自然言語処理その他一般)
- 〈情報処理学会 第100回情報基礎とアクセス技術研究会（IFAT） 発表論文〉Q&Aサイトにおける質問と回答の分析（4） : 質問タイプ分類の一致度について（立命館大学 びわこ・くさつキャンパス エポック立命21. 2010年11月4日）
- オンラインジャーナル編集・出版システムの開発
- オンラインジャーナル出版システム
- Q&Aサイトにおけるベストアンサー推定の分析とその機械学習への応用
- クラスタにおけるコンテクスト依存な局所情報を用いたクエリ拡張
- 目録データベースとWebコンテンツの統合的利用方式
- Q&Aサイトにおける質問と回答の分析(4)-質問タイプ分類の一致度について-
- Q&Aサイトにおけるベストアンサー推定可能性の検証
- Q&Aサイトにおけるベストアンサー推定可能性の検証
- 新聞記事とコミュニティQAを対象とした詳細な意見分析コーパスの作成と分析
- 新聞記事とコミュニティQAを対象とした詳細な意見分析コーパスの作成と分析
- 大規模テストコレクションNTCIR-2の構築 : 対話型追加検索と言語横断的プーリングの効果(情報の検索とテストコレクション)
- 多段階レレバンス判定による評価 : 平均可能な単一指標の検討
- 大規模テストコレクションNTCIR-2の構築 : 言語横断的プーリングの評価への影響
- 大規模テストコレクションNTCIR-1 NTCIR-2 : レコードから見た違い
- 大規模テストコレクション NTCIR-1 と NTCIR-2 : レコードから見た違い
- 情報検索サービスNACSIS-IRの新たな展開 (情報検索の新潮流)
- Q&Aサイトにおける質問と回答の分析(3)-質問・回答履歴を用いたベストアンサー推定-
- Q&Aサイトにおける質問と回答の分析(3)-質問・回答履歴を用いたベストアンサー推定-
- 第1回NTCIRワークショップ:情報検索・用語抽出の評価会議
- 情報検索システムの評価 : テストコレクションと評価ワークショップ (情報検索の新潮流)
- レレバンスをめぐる一考察 : NTCIRの背景として
- Q&Aサイトにおける質問と回答の分析(2)-文の構造と属性を中心に-
- RD-003 コミュニティQAにおける良質な回答の選定タスク : 評価方法に関する考察(D分野:データベース,査読付き論文)
- オンラインジャーナル出版システム
- 情報アクセス技術の性能評価のための研究基盤NTCIR : 言語横断検索の創成と展開(NTCIR特別セッション)
- 情報アクセス技術の性能評価のための研究基盤NTCIR : 言語横断検索の創成と展開(NTCIR特別セッション)
- NTCIR-3 言語横断検索タスクの分析 : プーリングを中心として
- 大規模テストコレクション構築のためのプーリング : NTCIR-3言語横断検索タスクの分析
- NACSIS-IRの検索機能の高度化
- 意見文に関する情報付与と意見に焦点を当てた要約の関係の分析(要約)
- 意見文に関する情報付与と意見に焦点を当てた要約の関係の分析(要約)
- 利用者の情報要求を考慮した観点に基づく複数文書要約とその評価
- Web データを対象としたナビゲーション指向検索用テストコレクション─ 設計と特性
- Web情報アクセス技術の評価モデル(最新情報検索技術)
- 感情表現の抽出手法に関する提案(表理解,アライメント,抽出)
- 感情表現の抽出手法に関する提案(表理解,アライメント,抽出)
- 2Webの検索技術動向と評価手法(自然言語による情報アクセス技術)
- 事実・意見・知識に焦点を当てた観点に基づく複数文書要約(複数文書の処理)
- ファセット化ジャンルに基づく複数文書要約の分析(言語理解とコミュニケーション一般)
- NTCIR-3 WEB : Web 検索のための評価ワークショップ(電子文書処理)
- Web検索のための評価ワークショップに適したシステム評価手法
- 検索課題の難易度を考慮したテキスト検索システムの評価(情報の検索とテストコレクション)
- Web検索チャレンジの課題 : NTCIRワークショップ3の新タスク
- テストコレクションにおける検索課題の難易度予測への挑戦
- タスク種別とユーザ特性の違いが Web 情報探索行動に与える影響 : 眼球運動データおよび閲覧行動ログを用いた分析
- Q&Aサイトにおける質問と回答の分析
- Q&Aサイトにおける質問と回答の分析
- 情報検索システムの評価 : テストコレクションを中心に(図書館・情報活動と)
- 複数国の新聞サイトを比較分析するNSContrastの実験的分析
- 複数国の新聞サイトを比較分析するNSContrastの実験的分析
- 「情報利用学」の構築に向けた予備的考察 : 図書館情報学における情報利用行動研究と情報利用教育研究を中心に(学術情報分野)
- 世界の電子図書館の研究動向について
- 画像の認知の枠組みと索引法
- 情報検索、情報抽出テストコレクション
- シソーラスを用いた検索式拡張の評価
- シソーラスを用いた検索式拡張の評価
- Web情報探索前後のコンセプトマップの分析:探索者によるノード同定結果を用いて
- 2000-FI-59-4 / 2000-DD-24-4 大規模テストコレクションNTCIR-1における検索課題の難易度に関する分析
- 2000-FI-59-4 / 2000-DD-24-4 大規模テストコレクションNTCIR-1における検索課題の難易度に関する分析
- 大規模テストコレクション構築のためのプーリングについて :NTCIR-1の分析
- 4P-2 大規模テストコレクションNTCIR-1の構築(2) : 検索課題の分析
- 4P-1 大規模テストコレクションNTCIR-1の構築(1) : プーリングと正解判定の分析
- NTCIR-1 : 情報検索システム評価用テストコレクション構築の方針と実際
- 複数判定者によるコミュニティQAの良質回答の判定
- コミュニティQAにおける質問の多面的評価法の検討
- 情報検索の前後におけるユーザの知識構造の変化 : コンセプトマップを使った分析
- 社会教育機関としての公共図書館における情報利用支援の現状と課題 : 情報リテラシーの育成をめぐる総合的検討に向けた予備的考察
- 公共図書館における新しい情報サービスの導入に伴う課金と利用者教育をめぐる問題 : アメリカ・カナダ公共図書館における事例調査
- 図書館における情報リテラシー教育に関する一考察 : 図書館利用教育ツールを中心に
- 5K-2 クラスタにおける選択的情報に基づくクエリ拡張
- コミュニティQAにおける良質回答の自動予測
- 〈情報処理学会第104回情報基礎とアクセス技術研究会（IFAT） 発表論文〉 Web情報探索前後のコンセプトマップの分析 : 探索者によるノード同定結果を用いて
- NTCIR-9総括と今後の展望
- NTCIR-9総括と今後の展望
- 情報要求の言語化を支援するクエリ拡張型Web検索システムに関する一検討 (データベース Vol.4 No.3)
- Wikipediaカテゴリを用いたWikipediaとGeoNames間のリンク発見とメンテナンス
- コミュニティQAを用いたクエリ拡張のためのコンテキスト抽出に関する一考察
- 情報検索システム評価用テストコレクション (特集 情報検索)
- 大規模テストコレクション構築について : NTCIR-1の訓練用検索課題の分析
- 大規模テストコレクション構築について : NTCIR-1の訓練用検索課題の分析
- 大規模テストコレクション構築のためのプーリングについて : NTCIR-1の予備テストの分析
- 日中ブロガー・コミュニティの収集・俯瞰・対照分析
- 日中ブロガー・コミュニティの収集・俯瞰・対照分析