最小相対エントロピー識別学習へのラティスによる仮説表現と並列化可能な最適化手法の導入

概要

論文の詳細を見る
識別学習は,デコーダの出力する認識仮説と比較して正解ラベルの尤度を相対的に高めることで識別に特化したモデルを得るための手法であるが,経験的に過学習しやすいことが知られている.近年,音響モデルの識別学習において過学習を軽減するため,最小相対エントロピー識別が音響モデルの識別学習に導入されてきた.この手法ではパラメタ推定の不確実性をパラメタ分布によって表現することで適切に取り扱うことを可能としており過学習に強いと考えられるが,従来の実現法では大量の認識仮説,および大量のトレーニングデータを取り扱うには膨大な量の計算を単一のコンピュータで実行しなければならなかった.そこで,本研究では,ラティス型認識仮説表現を導入することで認識仮説の数に対する計算効率を,また勾配法に基づく並列化可能な最適化法を導入することでトレーニングデータの数に対する並列計算効率を向上させた.提案法を用いることで,最小相対エントロピー識別学習に必要なステップのほぼ全てがグリッドコンピュータのような並列計算環境で実現可能になり,また,従来の N-best に基づく認識仮説表現では表現しきれないような膨大な数の認識仮説に対する最適化が行なえるようになった.
一般社団法人情報処理学会の論文
2010-02-05

最小相対エントロピー識別学習へのラティスによる仮説表現と並列化可能な最適化手法の導入

スポンサーリンク

概要

著者

関連論文

スポンサーリンク