語の重み付け学習を用いた文書の自動分類

概要

論文の詳細を見る
本稿では, 文書中に現れる語に対し, 重み付けの学習を行った結果を用いて文書の自動分類を行う手法を提案する. 我々の手法における学習とは, トレーニングデータにおける各文書の分類の誤り結果から正しい重要語を学習することである. すなわち, トレーニングデータの文書集合に対しクラスタリングアルゴリズムを適用した結果, 文書が正しく分類されない場合, 頻度による重み付けが適切でないと見なす. これらの文書どうしに対し重要語が判定され重み付けが行われる. 本手法では, 重要語を判定するために文脈依存の度合いという考え方を用いる. これは, 文書中の任意の語が, 設定された文脈にどのくらい深く関わっているがという度合いの強さを用いることで主題と関係の深い語を抽出し, これを重要語と見なす方法である. その結果, 重要語には高い重み付けを行い, 重要でない語(一般語と呼ぶ)に対しては低い重み付けを行う. 語の重み付けの学習は, トレーニングデータ中のすべての文書が正しく分類されるまで繰り返される. 本手法の有効性を検証するためにWall Street Journalを用いて行った実験では78個の分野に属する4,453の文書に対し, Lewisらによって提案されたProportional assignment strategyによるBreakeven Pointsで, 0.75の正解率が得られた.
一般社団法人情報処理学会の論文
1999-04-15

語の重み付け学習を用いた文書の自動分類

スポンサーリンク

概要

著者

関連論文

スポンサーリンク