ゆう度付き形態素解析用の汎用アルゴリズムとそれを利用したうゆう度基準の比較

概要

論文の詳細を見る
日本語解析の基礎である形態素解析においては,考え得る多数の解の中から何らかのゆう度基準に従って適切な解を選択する必要があり,多くの研究がなされてきた.しかし,これらの研究知見の蓄積を統合的に分析し,更に高度なゆう度基準を発見・構築するためには,次の2者が必要と考えられる.すなわち,(1)ゆう度基準を記述するための見通しよい枠組みと,個々のゆう度基準から独立した汎用アルゴリズム,(2)ゆう度基準の性質を比較できるデータ.これに対応すべく,我々は(1)「最ゆう解=最小コスト解」の対応による一般的なゆう度基準記述法と動的計画法に基づく汎用解析アルゴリズムを構築し,これらに基づき(2)4種のゆう度基準の比較データを得た.(1)のアルゴリズムは最小からN位のコストまでに対応する解を導出でき,計算効率はO(nNlog_2(1+N))のオーダである.また,このアルゴリズムが通常のビームサーチ法よりも優位である点も示した.ゆう度基準の比較は,このアルゴリズムを利用し6種類の指標を導入して行ったが.その結果,文節数最小法を若千群細化するだけで,簡易かつ高精度のゆう度基準が得られることを示せた.
社団法人電子情報通信学会の論文
1994-05-25