未知語認識のための仮名・漢字単位の構築手法と性能評価

概要

論文の詳細を見る
音声認識の実用化が進み,Voice Search や音声ドキュメント検索のような幅広いドメインを扱うタスクが増えてきた.幅広いドメインを扱うタスクでは,ドメインを限定したタスクと比べて,辞書に含まれない単語「未知語」が高い頻度で出現する.特に,日本語や中国語のような言語は,漢字により複合語や造語,省略語などの未知語が生まれやすいため未知語の対処が重要な課題となる.未知語の対処法として,サブワードと呼ばれる形態素よりも短い単位を形態素単位の認識辞書と言語モデルに組み込むことにより,未知語を表現する手法がある.その他,Google の音声検索に見られるようにコーパスを増やして,ヒットレートを上げることも未知語の対策には有望なアプローチである.本報告では漢字で表現される未知語に対して頑健な音声認識を実現するために,仮名・漢字単位を構築し,構築した仮名・漢字単位をサブワードとして採用する.評価実験では (1) 仮名・漢字単位と形態素単位の混合 N-gram と,従来手法として (2) 形態素単位 N-gram と (3) 音節列の統計的特徴を用いて決定した音節・音節列単位と形態素単位の混合 N-gram の 3 つの言語モデルを構築し,日本の地名に関する検索発話のテストセットで評価を行った.評価実験の結果から,仮名・漢字単位と形態素単位の混合 N-gram は 1-best の文正解率において,形態素単位 N-gram よりも 6.61% 高く,統計的に音節列を 200 種類採用した音節・音節列単位と形態素単位の混合 N-gram よりも 0.83% 高い値を示した.
2010-07-15

未知語認識のための仮名・漢字単位の構築手法と性能評価

スポンサーリンク

概要

著者

関連論文

スポンサーリンク