共起情報を利用した文書の自動分類について

概要

論文の詳細を見る
近年大量のテキスト情報がインターネットなどを通じてアクセス可能となるにつれて, 文書の自動ファイリングやユーザの要求を満足させる自動配信のための文書自動分類技術への要求か高まっている. そのための技術として, ベクトル空間モデルがある. ベクトル空間モデルによる自動分類は自動学習可能であり, 大量かつ幅広い分野のテキストデータを扱う場合に適している. しかし, 分類精度が良くないため, 精度向上の様々な手法が取り入れられている. 例えば, 河合は単語の意味属性を用いて分類精度が向上することを示し, 湯浅は単語共起による単語のベクトルを利用した分類方法を提案した. 我々は,[1]で指摘されているように単語の多義性を解消すれば, 精度が向上するであろうと予測した. ただし, 従来の言語学で言われる「多義語」を多義解消するのではなく, 複数分類項目で頻繁に出現する単語(例えば「首相」という単語は「政治」や「経済」といった複数の分類項目で頻繁に出現する)を「分類多義語」と定義し, 「分類多義語」の多義性解消を試みた. すなわち, 「分類多義語」に対して分類項目別に学習情報の頻度と重み付けを再学習し, 分類対象文書の「分類多義語」の頻度を共起情報を利用して分類項目別に計算して分類先を決定した.
一般社団法人情報処理学会の論文
1997-03-12

共起情報を利用した文書の自動分類について

スポンサーリンク

概要

著者

関連論文

スポンサーリンク