日本語における付属語の現れ方と規則

概要

論文の詳細を見る
日本語解析においては、「新聞記事は解析が難しい」「マニュアル類は解析が易しい」といったことがよく言われる。以前に行なった実験では、この「難しさ」「易しさ」は、形態素解析においては、その分野の文の固まりを処理する際に使用される規則の異なり数の伸びに現れていることが示された(文献[2])。簡単に言うと、「解析が難しい」と言われる新聞記事の処理に使われる規則の異なり数は、60,000語以上を処理した後でもほぼ一定の割合で伸び続けるが、マニュアルの処理に使われる規則の異なり数は、それより早い段階で、伸びがほとんど止まる。今回は、規則の異なり数の伸びの分野ごとの差が何に依存しているかを、4分類した規則の伸びを観察することにより推測する。また、その推測の結果を踏まえ、ある程度まとまった長さで、ある程度出現数が大きい付属語連鎖を獲得するための目安を提案する。データとして、日本経済新聞社説記事を約16000文、IBMのメインフレーム関係マニュアルを約4000文を使用した。解析に使用した形態素解析は、前回と同じものである(文献[4])。
一般社団法人情報処理学会の論文
1995-03-15