系列パターンマイニングによる対訳表現抽出

概要

論文の詳細を見る
本稿では、対訳コーパスからの対訳表現抽出をデータマイニング分野で研究されている系列データマイニング問題とみなし適用する。統計的尺度に基づく対訳表現抽出は、対訳コーパスで共起頻度が高い候補パターンは、独立頻度も高いという直観に基づいている。従来方法では、言語的手がかりを利用して単言語コーパスで独立頻度が高い候補パターンを生成し、高頻度な単言語パターン間の共起頻度を数えあげるという二段階の処理が必要であった。本手法では、単語分割された対訳文を連結させた対訳系列から系列パターンマイニングを適用することにより、組合せ爆発を回避しながら、ある閾値以上頻出する単言語パターンの独立頻度と二言語パターンの共起頻度の効率的な数えあげを実現した。さらに、系列パターンマイニングを解くPrefixSpanアルゴリズムに品詞による言語制約を導入した。具体的には、自立語だけの系列と機能語も考慮した系列から候補パターンとして生成し、比較実験を行なった。自立語だけの系列の場合、計算時間は短く、名詞句の対応には有用だが、その他の複数語対応には有効ではない。一方、機能語も考慮した場合、計算時間が長くなるが、訳し分けに有用な熟語パターンが多く抽出でき、計算速度と品質というトレードオフが観察された。本提案は精度向上という課題も残されているが、いままで困難とされてきた訳し分けに有用な複数語の対訳表現が抽出できた。
一般社団法人情報処理学会の論文
2002-05-23

系列パターンマイニングによる対訳表現抽出

スポンサーリンク

概要

著者

関連論文

スポンサーリンク