組み合わせ的確率モデルに基づく特徴単語選択方法 : 超幾何分布の応用
スポンサーリンク
概要
- 論文の詳細を見る
与えられた文書集合を特徴付ける単語を選出することは, 様々に応用できる有用技術である。「文書集合を特徴付ける」を, 「文書集合中に特異的に多く現れる」と解釈し, これを捉えるために, 文書集合D中の単語wに対し, 以下の確率値に基づく重み付けを提案する。すなわち, 全文書D_0中の単語数をN, wのD_0中での頻度をK, Dの単語数をn, wのD中での頻度をKとしたとき, 「N個の玉の中にK個の赤い玉があるとき, 任意に取り出したn個の玉の中に赤い玉がk個以上含まれる確率」が小さいほど, wに大きな重みを与えるのである。この指標の有効性を, 5指標に関する比較実験により示し, 併せて上記の確率の効率的計算方法を述べる.
- 一般社団法人情報処理学会の論文
- 2000-11-21
著者
関連論文
- 医療用語のコード化手法 : 部分文字列のテキスト近似被覆問題(専門用語)
- 96 テンプレート入力方式の読影レポート作成システムの開発と試用(医療情報管理 RIS・情報支援)
- 対話的文書検索における文書クラスタリングの役割
- OCR誤認識後処理の効率化 : 補単語抽出方法と動詞活用処理を中心に
- 形態素解析プログラムANIMAの設計と評価
- 情報検索支援のためのシソーラス管理システムの提案
- 対話的文書検索における文書クラスタリングの役割
- 一般語との曖昧性を持つタンパク質名の自動検出(情報抽出・単語分類)(テーマ:「Webマイニングによる情報活動と自然言語処理」その他一般)
- 一般語との曖昧性を持つタンパク質名の自動検出(情報抽出・単語分類)(テーマ:「Webマイニングによる情報活用と自然言語処理」その他一般)
- 2P-3 タームのrepresentativenessを測るための新指標
- タームのrepresentativenessを測る
- 医療用語のコード化手法 : 部分文字列のテキスト近似被覆問題(専門用語)
- 連想に基づく情報アクセス技術 : 汎用連想計算エンジンGETAを用いて(最新情報検索技術)
- あいまい検索の技術と応用 (特集 インターネット検索技術と日本語研究)
- TD-1-6 DualNAVIによる連想的テキストアクセス
- 組み合わせ的確率モデルに基づく特徴単語選択方法 : 超幾何分布の応用
- 類似例の存在を否定的な要因として用いる重要バイグラムの収集支援方法
- 書き換え規則と文脈情報を用いた形態素解析後処理
- 書き換え規則と文脈情報を用いた形態素解析後処理
- 統計量とルールを組み合わせて有用な括弧表現を抽出する手法
- WWWホームページからの共起語自動抽出実験
- 括弧表現から統計量を用いて有用情報を抽出する手法
- 辞書と共起情報を用いた新聞記事からの人名獲得
- 動的な共起解析を用いた対話的文書検索支援
- 7-b) 連想統合による医学・生物学知識の活用ソリューション(企業におけるバイオNLPへの取り組み)(ポストゲノム時代に高まるバイオ自然言語処理への期待 : バイオ自然言語処理最新事情)
- 編集にあたって(ゲノム情報科学 : 観測技術の進展を支えるインフォマティクス)
- 編集にあたって(使いやすくなった自然言語処理のフリーソフト : 知っておきたいツールの中身)
- 条件付き確率最大法を利用した日本語形態素解析
- 編集にあたって(テキスト自動要約 : 知的活動支援の基本技術として)
- 文書走査を用いた複合名詞解析
- 文書走査を用いた複合名詞解析について
- 日本語形態素解析における効率的な動詞活用処理
- 日本語形態素解析における効率的な動詞活用処理
- 接続コスト最小法による日本語形態素解析
- 漢字仮名混じり文形態素解析における非サ変動詞の分割単位設定について
- 単語ベクトルを用いた多義語の意味推定 : 共起ベクトルと定義距離ベクトルの比較
- 動的な共起解析を用いた対話的文書検索支援