誤り駆動型の素性選択による日本語形態素解析の確率モデル学習

概要

論文の詳細を見る
自然言語処理において形態素解析は基本的かつ重要な技術であり, また応用範囲も広く, 現在まで様々な形態素解析システムが開発されてきた. 一方, 近年大量の品詞タグ付きコーパスが利用可能になってきており, これを用いて形態素解析のパラメータを統計的に学習する方法がさかんに行われるようになってきた. しかし, パラメータ値を自動的に推定できるようになっても, その土台となる文法そのものは固定されているものが多い. たとえば, どういった品詞分類のもとでパラメータ推定を行えば高い精度が得られるのかということは, 人手によって決めていることが多い. そこで本論文では, 確率モデル学習の手法により, 日本語形態素解析の精度を向上させるのに有効な品詞分類を自動的に学習する方法を提案する. その方法においては, 解析誤りをもとに詳細化する品詞分類を素性として取り出し, 品詞分類を段階的に細かくしていく. 学習によって得られた品詞分類を用いてbi-gram のマルコフモデルに基づくパラメータ推定を行うことにより, 形態素解析の精度を向上させた. 実験により, 人手で設定した品詞分類に比べ, より少ないパラメータ数でより高い精度を得ることができた. また, 品詞分類を変化させることによって, パラメータ数や精度がどのように変化するかといった, 品詞分類全体の性質をとらえることができた.
一般社団法人情報処理学会の論文
1999-05-15

誤り駆動型の素性選択による日本語形態素解析の確率モデル学習

スポンサーリンク

概要

著者

関連論文

スポンサーリンク