口語体言語モデルのためのコーパス

概要

論文の詳細を見る
統計的手法による自然言語処理の進歩には、データとなるコーパスを欠かすことができない。日本語でもEDRをはじめとして、コーパスが整備されてきているが、これらの多くは「書き言葉」を対象としている。また「話し言葉」を対象として収集されたものも旅行予約など限定されたタスクの対話が中心である。筆者らは、講演・プレゼンテーションなど「まとまった内容を説明するさいの話し言葉」、言い換えればモノローグに重点を置き、かつ特定のドメインに限らないコーパス作成を目的として放送大学で行われている授業に着目した。そこでこれらの放送録音から書き起こし作業、単語単位への分割を行った。その結果、合計78科目(のべ148番組)の授業から単語数で、約110万語の音声データと対応付けられたコーパスを得ることができた。さらにこのコーパスを用いて、不要語も含めて予測する言語モデルを検討したところ、不要語をカウントしない場合は211.6であるのに対して、比較的簡単なモデルでパープレキシティは225.0となった。
社団法人情報処理学会の論文
1999-11-25