確率文脈自由文法及びその拡張文法の高速EM学習法

概要

論文の詳細を見る
現在, 統計的な言語モデルの一クラスとして, 確率文脈自由文法(PCFG)が知られている.PCFGのEM学習法としてInside-Outside(I-O)アルゴリズムがあるが, 計算速度に問題があることが知られている.本報告では, 事前にCFGの骨格を与えることで, 効率的にPCFGの確率パラメータのEM学習を行う手法を提案する.提案手法では, WFST(well-formed substring table)の部分構文木を支持グラフと呼ばれる構造に変換し, その上でグラフィカルEMアルゴリズムを走らせ学習パラメータを得る.支持グラフはWFSTにおける部分木共有を保存し, また入力文に対して構文木を構成する要素だけを持つため, 提案手法は高速な学習が期待できる.また, 本手法をPCFGに文脈を加えたモデルに拡張することも可能である.我々はATRコーパスと人手で作られた日本語文法を用いて実験を行なった.学習速度の比較実験では, I-Oアルゴリズムと比べ, 訓練時間の大幅な短縮が確認された.
一般社団法人情報処理学会の論文
2000-09-21