SVDを用いたN-gram確率の線形空間表現(音声情報処理 : 現状と将来技術論文特集)

スポンサーリンク

概要

論文の詳細を見る
単語N-gramモデルに必要なパラメータ量は, 語彙サイズのN乗に相当する.そのため, 応用分野によってはパラメータ空間の圧縮が不可欠である.本研究では, N組単語の共起頻度行列の特異値分解(SVD)を行い, 単語, 構文状態それぞれをK次元空間上のベクトルとし, 少ない次元数でもとの行列を近似することによりN-gram確率パラメータ空間の圧縮を試みた.その結果, ベクトル空間においてTrigramモデルを17.5%以下のパラメータ数で表現できることがわかった.また, 定義された空間での距離をもとにクラスタリングを行い, 言語をうまく線形空間上に配置できているかを調査した.その結果, 同じパラメータ数で比較した場合, 相互情報量最大化に基づく手法により得られたクラスモデルよりもエントロピーの値は小さくなり, うまく配置できていることが確認できた.
2000-11-25

著者

関連論文

もっと見る

スポンサーリンク