ARTを用いた自然言語中の単語の頻度の情報処理 : 文書クラスタリングによる単語の連想関係の取得

概要

論文の詳細を見る
近年、自然言語理解はいろいろな手法を用いて実現されるようになってきてはいるものの、未だに法律文書などのごく限られた範囲内でしか実現されていない。これは、自然言語が曖昧さを含んでいるため、明示的な規則で処理するのが困難であるためと考えられる。そのため現在、新しい角度からのアプローチが望まれている。また、曖昧さを含む自然言語の理解のためには、広大な背景知識が不可欠であるが、これを獲得することは、その複雑さと広大さのため非常に困難を極める。特に、人間が明示的に与える情報だけで、このような背景知識を構築していくことはかなり困難なことだといえる。そのため、自然言語理解には背景知識の自動取得も大切な要素である。本稿では単語の頻度情報という、より単純で低いレベルから自然言語へのアプローチを行なうことで、文書をクラスタリングし、同時に自動的に単語の連想関係を取りだすことに成功した。これは新しい自然言語処理の第一歩であると考えている。また、その結果を用いて文書検索システムの構築も行なった。
一般社団法人情報処理学会の論文
1993-09-27