文節数最小法を用いたべた書き日本語文の形態素解析

概要

論文の詳細を見る
文節内における単語間の連接規則を記述した文法規則を用いるべた書き日本語文の形態素解析では, 日本語文としては不適当な解析を含む多くの解析結果が生じる. これらの解析結果から正しい解析を効率的に得る方法として, ヒューリスティックな情報が利用される. 従来, この手法としては最長一致法が用いられているが, 根拠が明らかでないうえに解析結果に尤度による優先順位をつけることができないという根本的な欠点がある. 本論文では, 解析結果の文節数によってその尤度を評価する文節数最小法を提案し, この手法に適した表方式の形態素解析アルゴリズムを与える. アルゴリズムの能率は, 最悪の場合に必要とするステップ数, メモリ数ともに入力文字列の長さnに対してO(n^2)である. また, 1,000文の入力文に対して解析実験を行い, 文節数最小法の有効性を確認した. その結果, 960文については文節数が最小となる解析に正解が存在し, 残り40文も一つ文節数が多い解析に正解が存在した. その他, 能率, 最初に出力される解析結果の誤り率, 尤度による順位付けの能力についても最長一致法と比較実験を行った. 最初に出力される解析結果の誤り率は, 文節数最小法で7.0%, 最長一致法で12.4%であり, このことも文節数最小法の有効性を十分示している.
一般社団法人情報処理学会の論文
1983-01-15

文節数最小法を用いたべた書き日本語文の形態素解析

スポンサーリンク

概要

著者

関連論文

スポンサーリンク