相互情報量を用いた単語の分類における出現頻度の低い単語の処理手法

スポンサーリンク

概要

論文の詳細を見る
形態素解析や構文解析等において,単語がどのように分類されているかは,重要な問題である.英文の大量のテキストデータをもとに単語を分類する一手法として,相互情報量を用いた手法が提案されている.しかし,相互情報量による分類手法は,出現頻度の低い単語の分類には適していない.そこで,対象とするテキストデータ中の出現頻度の低い単語については,何らかの処理を行ない,相互情報量を用いた単語の分類手法に組み込むことで,適切に分類できるであろう.本稿では,相互情報量を用いた単語の分類手法について述べると共に,不安定な出現頻度の低い単語の処理をどのように組み込むかについて述べる.出現頻度の低い単語を分類する手法として,(1)人手による分類手法,(2)ある程度の出現頻度になるまで出現頻度の低いものをまとめる手法,(3)単語の文字特徴を利用した分類手法,(4)2-gramを利用した分類手法,の4つを取り上げる.
一般社団法人情報処理学会の論文
1994-09-20

著者

関連論文

もっと見る

スポンサーリンク