段落内共起情報を利用した文書自動分類方式

概要

論文の詳細を見る
従来, 文書の自動分類の精度向上において問題となっていた多義語の曖昧性を解消し, 分類精度を向上するために, 以下の3つの点を特徴とする文書自動分類方式を提案する.1.単語出現頻度と文書分類カテゴリとの間のX^2統計による重み付けにおいて複数の分類カテゴリで重要度が高い単語を分類多義語と定義する.2.重要度が高い分類カテゴリを分類多義語に付け加えた単語を分類多義拡張単語とし, 出現頻度を補正する.3.分類多義語と同一段落内で共起する単語のみから構成する共起単語の共起ベクトルと入力文書の共起単語の共起ベクトルとの類似度を計算することで, 入力文書の分類多義語の出現頻度を分類多義拡張単語の出現頻度に補正する.新聞記事65, 078記事における詳細な734分類カテゴリへの分類実験の結果, 分類精度が従来方式による場合の48.1%から3.5ポイント改善された51.6%になった.また, 再現率と適合率単独で見ると, 再現率が従来方式による場合の45.5%から最大で7.4ポイント改善された52.9%になり, 適合率が43.5%から7.1ポイント改善された50.6%になった.
一般社団法人情報処理学会の論文
2001-03-15