大規模テストコレクション構築のためのプーリングについて : NTCIR-1の予備テストの分析
スポンサーリンク
概要
- 論文の詳細を見る
本研究の目的は、(1) 大規模テストコレクションを構築する手法としてのプーリングの有効性を検証し、(2) プーリング件数が検索システムの評価に関連があるかどうか調べ、(3) 正解判定の際の判定のゆれがシステムの評価に関係してくるかどうかを明らかにすることである。(1), (2) のために、NTCIR-1の訓練用正解セットを使用した予備テストで提出された結果を用いてプーリング実験を行なった。また、プーリング法の改良であるMove-to-Front法の簡略なヴァリエーションを提案し、平均精度が上位である提出結果からの文書をプーリング法によるプールに追加する実験も同時に行なった。その結果、プーリング法の有効性、すなわち、作成された正解リストの網羅性、および、プーリングによって作成された正解文書リストの公平性が確かめられた。(3) のために、NTCIR-1の訓練用セットを構築する際に行なった、異なる判定者による3種類の正解判定結果 (判定者A, Bそれぞれによる判定, 両者の協議による最終判定) を用いて評価実験を行なった。結果として、30件の検索課題を用いて検索結果を評価したとき、検索精度の平均は異なる正解判定リスト間においてほとんど差がなくなり、他数の検索課題を用いて評価を行なえば、判定者間の判定のゆれは評価においては問題ではないということがわかった。
- 一般社団法人情報処理学会の論文
- 1999-05-17
著者
関連論文
- 〈情報処理学会 第100回情報基礎とアクセス技術研究会（IFAT） 発表論文〉Q&Aサイトにおける質問と回答の分析（4） : 質問タイプ分類の一致度について（立命館大学 びわこ・くさつキャンパス エポック立命21. 2010年11月4日）
- オンラインジャーナル編集・出版システムの開発
- 語の出現位置の視覚的記憶に基づく既読文書の問合せに於ける索引構造の考察
- オンラインジャーナル出版システム
- 入力要素を保存する集約に基づくビューへの問合せ最適化手法
- Q&Aサイトにおけるベストアンサー推定の分析とその機械学習への応用
- 産学連携に関するWeb情報の分析 : 大学サイトの事例研究(第17回(2009年度)年次大会(研究報告会&総会))
- Q&Aサイトにおける質問と回答の分析(4)-質問タイプ分類の一致度について-
- 論文情報ナビゲータの構築(セッション5 : 文書データベース)
- 情報検索サービスNACSIS-IRの新たな展開 (情報検索の新潮流)
- 学術情報環境の変化に対応する学術出版の道しるべ SIST 07/08の改訂による学術雑誌・学術論文の新たな作成基準
- 総合目録オンラインDBと情報検索システムの連携方式 (学術情報分野)
- 学術情報センターにおけるオンラインDBとIRシステムの連携 : 目録系データベースの構成
- インターネットに適応した全文データベース検索システムの拡張 : 文書画像データへのアクセス:鹿児島大学教養部紀要を例として
- 第1回NTCIRワークショップ:情報検索・用語抽出の評価会議
- 情報検索システムの評価 : テストコレクションと評価ワークショップ (情報検索の新潮流)
- レレバンスをめぐる一考察 : NTCIRの背景として
- RD-003 コミュニティQAにおける良質な回答の選定タスク : 評価方法に関する考察(D分野:データベース,査読付き論文)
- オンラインジャーナル出版システム
- 文献の論理構造を考慮した全文検索システム
- Web Page Classification Based on Surrounding Page Model Representing Connection Type and Directory Hierarchy
- Combining Page Group Structure and Content for Roughly Filtering Researchers' Homepages with High Recall (特集:情報融合)
- Framework for Building a High-Quality Web Page Collection Considering Page Group Structure
- Framework for Building a High-Quality Web Page Collection Considering Page Group Structure
- 大規模データベースを利用したリンケージシステムの提案と実装
- NACSIS-IRの検索機能の高度化
- 周辺ページを活用したウェブページコレクションの効率的な構築
- Web データを対象としたナビゲーション指向検索用テストコレクション─ 設計と特性
- レコード同定問題に関する研究の課題と現状(データ工学論文)
- タスク種別とユーザ特性の違いが Web 情報探索行動に与える影響 : 眼球運動データおよび閲覧行動ログを用いた分析
- SAIKAM : インターネット上での協調的な対訳辞書構築環境の実現
- インターネット上の協調対訳辞書構築プロジェクト"SAIKAM"
- インターネット上の協調対訳辞書構築プロジェクト "SAIKAM"
- 複合的メタデータによる文化情報資源へのアクセス可能性の提示(セッション3,学生チャレンジ特集)
- 複合的メタデータによる文化情報資源へのアクセス可能性の提示(テーマ:学生チャレンジ特集)
- 編集にあたって
- 特集「情報融合」に向けて
- 編集にあたって
- 編集にあたって
- 編集にあたって
- 編集にあたって
- 特集「情報融合」に向けて
- 編集にあたって
- 複数国の新聞サイトを比較分析するNSContrastの実験的分析
- 複数国の新聞サイトを比較分析するNSContrastの実験的分析
- 「情報利用学」の構築に向けた予備的考察 : 図書館情報学における情報利用行動研究と情報利用教育研究を中心に(学術情報分野)
- 世界の電子図書館の研究動向について
- 画像の認知の枠組みと索引法
- 情報検索、情報抽出テストコレクション
- シソーラスを用いた検索式拡張の評価
- シソーラスを用いた検索式拡張の評価
- 文書画像データからの書誌情報の抽出とマッチング
- Web情報探索前後のコンセプトマップの分析:探索者によるノード同定結果を用いて
- 検索クエリにおける修飾構造の調査(文型と意味)
- 大規模テストコレクション構築のためのプーリングについて :NTCIR-1の分析
- 4P-2 大規模テストコレクションNTCIR-1の構築(2) : 検索課題の分析
- 4P-1 大規模テストコレクションNTCIR-1の構築(1) : プーリングと正解判定の分析
- NTCIR-1 : 情報検索システム評価用テストコレクション構築の方針と実際
- 複数判定者によるコミュニティQAの良質回答の判定
- コミュニティQAにおける質問の多面的評価法の検討
- 情報検索の前後におけるユーザの知識構造の変化 : コンセプトマップを使った分析
- 社会教育機関としての公共図書館における情報利用支援の現状と課題 : 情報リテラシーの育成をめぐる総合的検討に向けた予備的考察
- 公共図書館における新しい情報サービスの導入に伴う課金と利用者教育をめぐる問題 : アメリカ・カナダ公共図書館における事例調査
- 図書館における情報リテラシー教育に関する一考察 : 図書館利用教育ツールを中心に
- 学会誌電子化の現状と将来
- TSS接続による仮想画面転送(VTSS)方式
- 第57回日本図書館情報学会研究大会シンポジウム記録 : 「情報検索サービスの将来像:情報提供機関のこれからの役割と課題」
- 検索クエリを用いた情報の下位範疇化(「Webインテリジェンス」及び一般)
- 5K-2 クラスタにおける選択的情報に基づくクエリ拡張
- コミュニティQAにおける良質回答の自動予測
- 〈情報処理学会第104回情報基礎とアクセス技術研究会（IFAT） 発表論文〉 Web情報探索前後のコンセプトマップの分析 : 探索者によるノード同定結果を用いて
- NTCIR-9総括と今後の展望
- NTCIR-9総括と今後の展望
- B13 NLMDTDからJATSへ : NLM DTDからJATSへ(セッションB1情報システム・流通1,一般発表概要,第8回情報プロフェッショナルシンポジウム)
- 情報要求の言語化を支援するクエリ拡張型Web検索システムに関する一検討 (データベース Vol.4 No.3)
- Combining Page Group Structure and Content for Roughly Filtering Researchers Homepages with High Recall
- Combining Page Group Structure and Content for Roughly Filtering Researchers Homepages with High Recall
- Wikipediaカテゴリを用いたWikipediaとGeoNames間のリンク発見とメンテナンス
- コミュニティQAを用いたクエリ拡張のためのコンテキスト抽出に関する一考察
- 畳語の頻度分布調査(大規模言語資源による言語知識獲得)
- ＮＬＭ ＤＴＤからＪＡＴＳへ 日本語学術論文のＸＭＬ編集
- 短文投稿型WebサービスからのQ&A型知識抽出に向けて (思考と言語)
- 大規模テストコレクション構築について : NTCIR-1の訓練用検索課題の分析
- 大規模テストコレクション構築について : NTCIR-1の訓練用検索課題の分析
- 大規模テストコレクション構築のためのプーリングについて : NTCIR-1の予備テストの分析
- ウェブページのツイート行動への関心反映度に関するブラウズ行動のコンテキストに注目した分析
- ウェブページのツイート行動への関心反映度に関するブラウズ行動のコンテキストに注目した分析
- 日中ブロガー・コミュニティの収集・俯瞰・対照分析
- 日中ブロガー・コミュニティの収集・俯瞰・対照分析
- Web視聴記録等を用いた利用者行動因子の抽出(「Webインテリジェンス」及び一般)
- Efficient Top-k Document Retrieval for Long Queries Using Term-Document Binary Matrix — Pursuit of Enhanced Informational Search on the Web —
- ミニブログ中の対話メッセージを対象としたQ&A型知識抽出
- Context Oriented Analysis of Interest Reflection of Tweeted Webpages based on Browsing Behavior (データ工学)
- 第21回年次大会予稿 ミニブログ中の対話メッセージを対象としたQ&A型知識抽出 (特集 第21回(2013年度)年次大会(研究報告会&総会))
- 短文投稿型WebサービスからのQ&A型知識抽出に向けて(言語と学習・場の供創・意味の創発)
- Web Page Classification Based on Surrounding Page Model Representing Connection Type and Directory Hierarchy
- Web Page Classification Based on Surrounding Page Model Representing Connection Type and Directory Hierarchy
- ウェブページのツイート行動への関心反映度に関するブラウズ行動のコンテキストに注目した分析(twitter・ソーシャルネットワーク,ビッグデータを対象とした管理・情報検索・知識獲得及び一般)