マレー語のステマーの開発とその評価(形態素・係り受け解析・感情)

概要

論文の詳細を見る
マレー語を対象とした接辞処理のアルゴリズムを提案する.マレー語には,接辞が文法上の重要な役割を果たすという特徴があり,接辞が語幹に付く仕組みが複雑である.英語などの他の言語では,末尾の語形変化や接尾辞を繰り返し除去する単純なステマーが用いられているが,そのようなステマーをマレー語に適用しても接辞処理の効果が得られない.マレー語の接辞の特徴を考慮した接辞処理のアルゴリズムが必要である.同一の語幹をもつ,意味の類似した派生形をまとめあげる接辞処理は,索引語の多様性を吸収する効果がある.しかし,意味の大きく異なる派生形を同一の語幹に関連づける過度な接辞処理を行うと,接辞処理がかえって索引処理に悪影響を及ぼす場合もある.このため,開発したステマーではマレー語の接辞ルールと二種類の単語辞書(語幹辞書と派生語辞書)を用いた接辞処理により,派生形に対する過度な接辞処理を避け,効果的な接辞除去を行っている.WWW上のマレー語のテキストデータを用いて行ったステマーの性能評価についても報告する.
2009-01-15