統計量とルールを組み合わせて有用な括弧表現を抽出する手法
スポンサーリンク
概要
- 論文の詳細を見る
新聞記事には平均10行に1個以上の割合で括弧表現, すなわち二つの文字列A, Bが括弧により対応付けられた表現"A (B)"が現れる. このような括弧表現の一部は, "欧州連合 (EU)"や"朝鮮民主主義人民共和国 (北朝鮮)"等の言い替えの括弧表現, "日立製作所 (会社人事)"等の固有名詞を含む括弧表現であり, これらが特定できれば多数の重要語や固有名詞を獲得できる. 本報告では, 共起の強さを計る統計指標とエントロピーを字種情報などに基づく単純なルールを組み合わせ, 上記の有用な括弧表現を簡便かつ高精度に獲得できることを示す. 共起の強さを計る指標として, 自己相互情報量, X^2検定, Yate補正したX^2検定, 頻度, 尤度比, Dice係数, 改良Dice係数の7種類を比較し, それぞれの効果を調べた.
- 一般社団法人情報処理学会の論文
- 1997-11-20
著者
関連論文
- 情報大航海プロジェクトにおける共通技術 : 画像・映像処理技術の紹介
- 医療用語のコード化手法 : 部分文字列のテキスト近似被覆問題(専門用語)
- 96 テンプレート入力方式の読影レポート作成システムの開発と試用(医療情報管理 RIS・情報支援)
- 対話的文書検索における文書クラスタリングの役割
- OCR誤認識後処理の効率化 : 補単語抽出方法と動詞活用処理を中心に
- 形態素解析プログラムANIMAの設計と評価
- 情報検索支援のためのシソーラス管理システムの提案
- 対話的文書検索における文書クラスタリングの役割
- 一般語との曖昧性を持つタンパク質名の自動検出(情報抽出・単語分類)(テーマ:「Webマイニングによる情報活動と自然言語処理」その他一般)
- 一般語との曖昧性を持つタンパク質名の自動検出(情報抽出・単語分類)(テーマ:「Webマイニングによる情報活用と自然言語処理」その他一般)
- E-028 テーマ指向性単語重み付け方式の提案と単文書要約への適用(E.自然言語・文書・ゲーム)
- 2P-3 タームのrepresentativenessを測るための新指標
- タームのrepresentativenessを測る
- 医療用語のコード化手法 : 部分文字列のテキスト近似被覆問題(専門用語)
- 連想に基づく情報アクセス技術 : 汎用連想計算エンジンGETAを用いて(最新情報検索技術)
- あいまい検索の技術と応用 (特集 インターネット検索技術と日本語研究)
- TD-1-6 DualNAVIによる連想的テキストアクセス
- 組み合わせ的確率モデルに基づく特徴単語選択方法 : 超幾何分布の応用
- 類似例の存在を否定的な要因として用いる重要バイグラムの収集支援方法
- 書き換え規則と文脈情報を用いた形態素解析後処理
- 書き換え規則と文脈情報を用いた形態素解析後処理
- 統計量とルールを組み合わせて有用な括弧表現を抽出する手法
- WWWホームページからの共起語自動抽出実験
- 括弧表現から統計量を用いて有用情報を抽出する手法
- 辞書と共起情報を用いた新聞記事からの人名獲得
- 動的な共起解析を用いた対話的文書検索支援
- 7-b) 連想統合による医学・生物学知識の活用ソリューション(企業におけるバイオNLPへの取り組み)(ポストゲノム時代に高まるバイオ自然言語処理への期待 : バイオ自然言語処理最新事情)
- 編集にあたって(ゲノム情報科学 : 観測技術の進展を支えるインフォマティクス)
- 編集にあたって(使いやすくなった自然言語処理のフリーソフト : 知っておきたいツールの中身)
- 条件付き確率最大法を利用した日本語形態素解析
- 編集にあたって(テキスト自動要約 : 知的活動支援の基本技術として)
- 文書走査を用いた複合名詞解析
- 文書走査を用いた複合名詞解析について
- 日本語形態素解析における効率的な動詞活用処理
- 日本語形態素解析における効率的な動詞活用処理
- 接続コスト最小法による日本語形態素解析
- 漢字仮名混じり文形態素解析における非サ変動詞の分割単位設定について
- Pinker, S. and Prince, A. : On language and connectionism : Analysis of a parallel distributed processing model of language acquisition, Cognition, Vol.28, pp.73-193 (1988).
- 単語ベクトルを用いた多義語の意味推定 : 共起ベクトルと定義距離ベクトルの比較
- 動的な共起解析を用いた対話的文書検索支援