大規模テストコレクションNTCIR-2の構築 : 言語横断的プーリングの評価への影響
スポンサーリンク
概要
- 論文の詳細を見る
大規模テストコレクションNTCIR-2の構築において、正解文書リストは、プーリング法に基づいて作成された。本稿では、NTCIR-2の正解文書リストの作成過程で行なった言語横断的プーリングおよび対話型検索システムを用いた追加検索が、NTCIR-2を使用した検索システムの評価に与える影響をついて考察する。本研究では、NTCIR-2の正解文書リストと、NTCIRワークショップ2の参加チームの提出結果を用いて評価実験を行なった。まず、NTCIR-2の最終的な正解文書リストFと、Fから追加の対話型検索Iだけで見つかった文書を除いたリストF-Iを用いて、提出結果の評価を行なった。次に、各サブタスクごとの提出結果からのプーリングを行ない、このサブタスクごとのプールを正解文書リストとして評価を行なった。結果として、いずれの文書リストを正解文書リストとして提出結果の評価を行なっても、提出結果の相対的な順位はほとんど変化せず、プーリング法に基づいて作成したテストコレクションの信頼性を確かめることができた。
- 一般社団法人情報処理学会の論文
- 2001-07-24
著者
-
神門 典子
国立情報学研究所
-
吉岡 真治
北海道大学
-
吉岡 真治
北海道大学大学院情報科学研究科
-
神門 典子
国立情報学研
-
栗山 和子
国立情報学研究所
-
吉岡 真治
北海道大学大学院 情報科学研究科
-
栗山 和子
白百合女子大学文学部
関連論文
- Qサイトにおけるベストアンサー推定の分析とその機械学習への応用
- 目次と帯を用いた図書の自動分類(情報検索・分類,テーマ : 「デジタルアーカイブの活用(応用)」および一般)
- NTCIR-3言語横断検索タスクの分析 : プーリングを中心として
- 大規模テストコレクション構築のためのプーリング : NTCIR-3言語横断検索タスクの分析(コーパス分析・言い換え)(セマンティックウェブと自然言語処理その他一般)
- LL_011 コンテンツを組織化する知識コンテンツ構築システムの提案(L分野:ネットワークコンピューティング)
- 協調学習のためのコンテンツ構築システムEduWikiの開発(セッション7: 社会システム・教育支援システム)
- 時系列情報の値と変化に関する言語表現コーパスの構築 : 動向情報の情報編纂に向けて
- タスク種別とユーザ特性の違いがWeb情報探索行動に与える影響: : 眼球運動データおよび閲覧行動ログを用いた分析
- サーチエンジン検索結果ページにおける視線情報の分析(第17回(2009年度)年次大会(研究報告会&総会))
- 〈情報処理学会 第100回情報基礎とアクセス技術研究会（IFAT） 発表論文〉Q&Aサイトにおける質問と回答の分析（4） : 質問タイプ分類の一致度について（立命館大学 びわこ・くさつキャンパス エポック立命21. 2010年11月4日）
- Concentric Ring View F+ : マルチメディアデータのためのリング状検索インタフェース(ユーザインタフェースとインタラクティブシステム)
- Concentric Ring View F+ : マルチメディアデータのためのリング状検索インタフェース
- Q&Aサイトにおけるベストアンサー推定の分析とその機械学習への応用
- NTCIRにおける質問応答技術の評価と今後の展望(NTCIR特別セッション)
- Basic Elementを用いた質問応答の自動評価(情報検索・情報抽出・QA)
- Web情報探索における視線データの予備的分析(創立20周年記念 第16回(2008年度)年次大会(研究報告会&総会))
- 多面的な検索とブラウジングを統合したGUI(セッション3 : GUIデザイン)
- 特許情報処理を指向したテストコレクションの構築 : 情報検索と自然言語処理の融合を目指して(NTCIR特別セッション)
- 特許情報処理を指向したテストコレクションの構築 : 情報検索と自然言語処理の融合を目指して(NTCIR特別セッション)
- 情報アクセス対話のための質問応答技術評価タスク
- NTCIRにおける質問応答技術の評価と今後の展望(NTCIR特別セッション)
- Basic Elementを用いた質問応答の自動評価(情報検索・情報抽出・QA)
- 目次と帯を用いた図書の自動分類(情報検索・分類,テーマ : 「デジタルアーカイブの活用(応用)」および一般)
- 動向情報の要約と可視化とその展開 : MuST(動向情報の要約と可視化に関するワークショップ)活動報告(言い換え・略語・要約)
- 動向情報の要約と可視化 : 言葉と図で情報をまとめる
- NTCIR-4における類似特許検索テストコレクションの構築(テキスト検索,分類)
- 特許コーパスを用いた検索タスクの提案
- Q&Aサイトにおける質問と回答の分析(4)-質問タイプ分類の一致度について-
- Q&Aサイトにおけるベストアンサー推定可能性の検証
- Q&Aサイトにおけるベストアンサー推定可能性の検証
- Web上のexploratory searchの特徴:発話プロトコルと事後インタビュー分析結果より
- 新聞記事とコミュニティQAを対象とした詳細な意見分析コーパスの作成と分析
- 新聞記事とコミュニティQAを対象とした詳細な意見分析コーパスの作成と分析
- Wikipediaを介した関連ニュース・ブログの対応付け? Wikipediaエントリの分析?
- 特定トピックの日英ブログ収集・分析・類型化:事例研究
- 特集「NTCIR : 情報アクセスに関わるテキスト処理技術の評価ワークショップ」にあたって(NTCIR : 情報アクセスに関わるテキスト処理技術の評価ワークショップ)
- 大規模テストコレクションNTCIR-2の構築 : 対話型追加検索と言語横断的プーリングの効果(情報の検索とテストコレクション)
- 多段階レレバンス判定による評価 : 平均可能な単一指標の検討
- 大規模テストコレクションNTCIR-2の構築 : 言語横断的プーリングの評価への影響
- 大規模学術情報データベースに適した情報検索システムの開発
- 大規模テストコレクションNTCIR-1 NTCIR-2 : レコードから見た違い
- 大規模テストコレクション NTCIR-1 と NTCIR-2 : レコードから見た違い
- Q&Aサイトにおける質問と回答の分析(3)-質問・回答履歴を用いたベストアンサー推定-
- Q&Aサイトにおける質問と回答の分析(3)-質問・回答履歴を用いたベストアンサー推定-
- Q&Aサイトにおける質問と回答の分析(2)-文の構造と属性を中心に-
- RD-003 コミュニティQAにおける良質な回答の選定タスク : 評価方法に関する考察(D分野:データベース,査読付き論文)
- 5J-6 キーワードのバースト特性を利用したスパムブログデータセットの作成と分析(情報爆発時代におけるWebおよびblogマイニング,一般セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- Wikipedia を介した関連ニュース・ブログの対応付け : Wikipedia エントリの分析
- Q&Aサイトにおけるベストアンサー推定可能性の検証
- Q&Aサイトにおけるベストアンサー推定可能性の検証
- Web 上の exploratory search の特徴 : 発話プロトコルと事後インタビュー分析結果より
- Link Depth : Web情報探索行動の閲覧パターンの分析
- Link Depth : Web情報探索行動の閲覧パターンの分析
- Q&Aサイトにおける質問と回答の分析(3) : 質問・回答履歴を用いたベストアンサー推定
- 新聞記事とコミュニティQAを対象とした詳細な意見分析コーパスの作成と分析
- Q&Aサイトにおける質問と回答の分析(3) : 質問・回答履歴を用いたベストアンサー推定
- 新聞記事とコミュニティQAを対象とした詳細な意見分析コーパスの作成と分析
- 評価ワークショップによるテキスト処理研究 : 第3回NTCIRワークショップを例として(NTCIR : 情報アクセスに関わるテキスト処理技術の評価ワークショップ)
- 情報アクセス技術の性能評価のための研究基盤NTCIR : 言語横断検索の創成と展開(NTCIR特別セッション)
- 情報アクセス技術の性能評価のための研究基盤NTCIR : 言語横断検索の創成と展開(NTCIR特別セッション)
- NTCIR-3 言語横断検索タスクの分析 : プーリングを中心として
- 大規模テストコレクション構築のためのプーリング : NTCIR-3言語横断検索タスクの分析
- 情報アクセス対話に向けた質問応答技術の評価ふたたび : NTCIR-5 QAC3での試み(文書処理,質問応答)
- リスト型質問応答の特徴付けと評価指標(質問応答)(テーマ:「Webマイニングによる情報活動と自然言語処理」その他一般)
- リスト型質問応答の特徴付けと評価指標(質問応答)(テーマ:「Webマイニングによる情報活用と自然言語処理」その他一般)
- 質問応答技術は情報アクセス対話を実現できるか(質問応答)
- 情報検索と要約の評価 : 第2回NTCIRワークショップ概要
- 意見文に関する情報付与と意見に焦点を当てた要約の関係の分析(要約)
- 意見文に関する情報付与と意見に焦点を当てた要約の関係の分析(要約)
- 利用者の情報要求を考慮した観点に基づく複数文書要約とその評価
- 感情表現の抽出手法に関する提案(表理解,アライメント,抽出)
- 感情表現の抽出手法に関する提案(表理解,アライメント,抽出)
- 事実・意見・知識に焦点を当てた観点に基づく複数文書要約(複数文書の処理)
- NTCIR-3 WEB : Web 検索のための評価ワークショップ(電子文書処理)
- 検索課題の難易度を考慮したテキスト検索システムの評価(情報の検索とテストコレクション)
- Web検索チャレンジの課題 : NTCIRワークショップ3の新タスク
- テストコレクションにおける検索課題の難易度予測への挑戦
- タスク種別とユーザ特性の違いが Web 情報探索行動に与える影響 : 眼球運動データおよび閲覧行動ログを用いた分析
- 意見分析タスク : 多言語テキストを対象とした意見抽出技術の評価(NTCIR特別セッション)
- 意見分析タスク : 多言語テキストを対象とした意見抽出技術の評価(NTCIR特別セッション)
- Q&Aサイトにおける質問と回答の分析
- Q&Aサイトにおける質問と回答の分析
- コミュニティQAにおける質問の多面的評価法の検討
- 複数国の新聞サイトを比較分析するNSContrastの実験的分析
- 複数国の新聞サイトを比較分析するNSContrastの実験的分析
- デジタルコンテンツ時代の図書館 : ─国際図書館連盟（IFLA）年次大会テーマの変遷から─
- 情報空間からの発見と新たな価値の創成
- 複数判定者によるコミュニティQAの良質回答の判定
- 情報検索の前後におけるユーザの知識構造の変化: : コンセプトマップを使った分析
- 論文間の参照情報を考慮した関連論文の組織化(21世紀のグループウェア)
- Web情報探索前後のコンセプトマップの分析:探索者によるノード同定結果を用いて
- 複数判定者によるコミュニティQAの良質回答の判定
- コミュニティQAにおける質問の多面的評価法の検討
- 情報検索の前後におけるユーザの知識構造の変化 : コンセプトマップを使った分析
- コミュニティQAにおける良質回答の自動予測
- 〈情報処理学会第104回情報基礎とアクセス技術研究会（IFAT） 発表論文〉 Web情報探索前後のコンセプトマップの分析 : 探索者によるノード同定結果を用いて
- NTCIR-9総括と今後の展望
- NTCIR-9総括と今後の展望
- 情報要求の言語化を支援するクエリ拡張型Web検索システムに関する一検討 (データベース Vol.4 No.3)
- Wikipediaカテゴリを用いたWikipediaとGeoNames間のリンク発見とメンテナンス