文字、単語統計解析の一手法

スポンサーリンク

概要

論文の詳細を見る
文字、単語などの自然言語の構成要素の統計解析は、自然言語研究の不可欠な手段である。近年は、単語の頻度、共起頻度などの統計情報をベースに、コンピュータによる単語の自動分類、シソーラスの自動生成などの研究も活発に行なわれるようになった。これらの従来の研究では、テキストデータベース(コーパス)全体にわたって統計され、平均を取った単語の頻度、共起頻度が使われており、単語がコーパスにわたる分布の情報が利用されていない。文字、単語がコーパスにわたる出現頻度の分布関数は、平均、分散、相関などの情報を含んでおり、言語の動的な側面を反映していることから、言語の統計解析に役立つことが期待できる。本稿は単語の出現頻度の分布関数を使って、単語間の相関係数という統計量を導入し、この統計量により単語間の関連性を表すことを検討する。
一般社団法人情報処理学会の論文
1995-09-20

著者

関連論文

もっと見る

スポンサーリンク