大規模日本語コーパスからの連鎖型および離散型共起表現の自動抽出法

概要

論文の詳細を見る
機械翻訳等の自然言語処理に必要な、使用頻度の高い表現や固定的な言い回しなどの表現を抽出するため、大量の言語データから、連鎖型および離散型の共起表現を効率よく自動的に抽出するアルゴリズムを提案した。既に、連鎖型の共起表現に対して、N-gram統計を応用した手法が提案されており、文字列長の長い順かつ使用頻度の高い順に共起表現を抽出することが可能である。しかし、その方法では、膨大な量の断片的で不要な表現が混在して抽出される問題があった。そこで、本論文では、まず、抽出過程で対象文字列の有効性を判定する仕組みを考案し、不要な表現の抽出を抑制するアルゴリズムを提案した。次に、これによって得られた連鎖型の共起表現を組み合わせて、離散型の共起表現を抽出する方法を提案した。約890万字の新聞記事データに適用した例によれば、従来の方法に比べて、断片的な文字列の抽出が抑制され、抽出される文字列の種類は20〜1%に、またそれらの述べ出現回数は14〜1%程度に削減されることが分かった。また、10回以上出現した1.25万種類の連鎖型共起表現が1文中に共起する離散型の共起表現を抽出したところ、2回以上出現したの文字列の組は6,544件であった。以上の結果、連鎖型、離散型共に共起表現を容易に計算することが可能となり、文型パターンなど、文構造に関する基礎データを半自動的に収集することが可能となった。
社団法人電子情報通信学会の論文
1995-05-12

大規模日本語コーパスからの連鎖型および離散型共起表現の自動抽出法

スポンサーリンク

概要

著者

関連論文

スポンサーリンク