シソーラスと決定木学習アルゴリズムによる Rocchio feedback の高精度化
スポンサーリンク
概要
- 論文の詳細を見る
Rocchio feedback は検索要求文と文書をベクトルで表現するべクトル空間法において, 検索者による feed-back を用いて検索要求文から作成したベクトルを修正する手法である. 多くの研究者により文書検索の精度を向上させる効果が報告されている手法であるが, ベクトルの修正はベクトル間の加減算によってのみ行なわれるため, 検索語間の共起関係を捉えることができなかった. 本稿では検索者が関心を持つ文書を正例, 持たない文書を負例として決定木学習アルプリズムID3に与えることで, 必要な文書と不要な文書を区別する観点で重要な共起関係を検索式の形式で獲得し, 得られた検索式に適合した文書について Rocchio feedback の検索結果を修正する手法を撮案する. また学習例数が不十分な場合に正確な学習ができないというID3の欠陥を補うため, 文書データベース中の大部分の文書はユーザにとって関心がない文書であることに着目し, 仮想的に負例を増加させる手法を示す. さらに, シソーラスを利用することで単語の概念を扱う Bit-per-category エンコーディングをID3の前処理として用いることで, 概念レベルでの共起も扱う. 実験を行なった結果, 提案手法が検索精度向上に有効であることがわかった.
- 1998-01-19
著者
-
木谷 強
NTTデータ
-
木谷 強
株式会社NTTデータ
-
木谷 強
株式会社nttデータ北米技術センタ
-
中島 浩之
株式会社nttデータオープンシステムセンタ:(現)日本電信電話株式会社
-
中島 浩之
Nttデータ通信
関連論文
- 日本語情報検索システム評価用テストコレクションの構築
- 日本語情報検索システム評価用テストコレクション BMIR-J2
- 1105 ステップ数と工数に基づく生産性評価の一考察(一般セッション)
- 情報検索システム評価用ベンチマークVer.1.0(BMIR-J1)について (メディア統合および環境統合のための高機能データベースシステム、および一般)
- 特集「日本におけるオペレーティングシステム研究の動向」の編集にあたって (日本におけるオペレーティングシステム研究の動向)
- 共起単語間の関連性を考慮した文書重要度付与
- SGMLによる『情報管理』誌の冊子体・電子版同時作成の開始と全文検索の試み
- SGMLによる「情報管理」誌の冊子体・電子版同時作成の開始と全文検索の試み
- シソーラス掲載語の重要性を考慮した文書スコアリング
- フルテキストと抽出キーワードを利用した情報検索
- フルテキストと抽出キーワードを利用した情報検索
- 単語出現共起関係を用いた文書重要度付与の検討
- 分散環境における情報検索を支援するデータベース選択方式
- 異種分散環境におけるエージェント指向型情報検索システム : データベース選択方式の評価
- シソーラスと決定木学習アルゴリズムによる Rocchio feedback の高精度化
- 1106 過去データから算出した予測工数に基づく生産性メトリクス(一般セッション)
- 統計知識と文脈情報を用いた一般化LR構文解析法の研究
- テキストのフォーマットと単語の範囲内重要度を利用したキーワード抽出
- 単語共起と語の部分一致を利用したキーワード抽出法の検討
- 特徴的表現を利用した特許抄録作成法の検討
- レレバンスフィードバックにおける検索語の共起関係推定処理の高速化
- 検索語間における共起関係の特定によるレレバンスフィードバックの高精度化
- 単語の文書頻度を利用した決定木学習アルゴリズムによるrelevance feedbackの高精度化
- 単語の重要度に基づくテキストの要約
- 単語重要度と語彙的結束性を利用したテキストセグメンテーション
- 2113 ソフトウェア開発プロジェクトにおける生産性への影響評価手法(一般セッション)
- 情報検索、情報抽出テストコレクション
- 冨田一般化LRパーザを用いた情報抽出
- 文字認識誤り指摘のための形態素解析の適用性検討
- 語彙的結束性と単語重要度に基づくテキストセグメンテーション
- 冨田一般化LRパーザを用いた情報抽出
- パターンマッチング手法による名称特定処理の有効性の検討
- パターンマッチング手法による名称特定処理の有効性の検討
- OCRの認識結果に対する文字認識後処理方式の検討
- 放談会 : 『情報管理』は雲に乗って
- 住所の文字認識結果に対する後処理方式の検討