大規模コーパスに基づいた未登録語の傾向分析

概要

論文の詳細を見る
自然言語の解析を行なう場合、辞書に登録していない語(以下、未登録語)が現れることが多い。そしてこの未登録語は意味情報を持たないという点で、解析の大きな障害となる。現在の機械辞書の中には、十数万語もの見出し語を持つ大きなものも存在するが、年々増加していく新語をすべて登録し縦けていくことは不可能である。書き言葉の場合では、英文はわかち書きがされているので未登録語を特定できるため、未登録語の品詞の推定や、意味の推定に関する研究も行なわれている。しかし、日本語はわかち書きがされていないため未登録語を含む文章を解析する際の一番の問題点は、未登録語の切り出しである。自然言語処理の中でも特に話し言葉の解析においては音声認識の問題や、言い誤りなど解析システム上で未登録語となってしまうような語が多数出現することなど、書き言葉にはない多くの問題がある。そこで、未登録語が障害とならないような解析システムが必要とされる。話し言葉を対象としたシステムを考える場合、音の情報のみであり、漢字、カタカナなどの文字情報を考慮に入れることはできないので、まず最初に問題になるのは未登録語の限定および抽出である。日本語は元々外来要素が多く、そのほとんどが名詞成分であり、約8割は原語が英語のものである。このことから、未登録語においても外来語が多数存在していると考えらえる。こういった、未登録語の傾向を積極的に利用することによって、未登録語を含む文章をよりよく解析ができるのではないかと考え、大規模コーバスを用いて話し言葉中に現れる、未登録語の傾向分析を行なうことにした。
1994-09-20

大規模コーパスに基づいた未登録語の傾向分析

スポンサーリンク

概要

著者

関連論文

スポンサーリンク