英文中に出現する未登録語の特徴分析とその意味推定のため知識の有効性に関する考察

概要

論文の詳細を見る
自然言語の解析を行う場合, 辞書に登録されていない単語(未登録語)が現れることがある. 新語, 外来語, 入力ミスによる誤字, 脱字のある単語などがこれにあたる. このため, 実用的な自然言語処理システムの構築を考える際には, 未登録語の処理をする必要がある. しかし, これは必ずしも容易ではない. 例えぱ英単語などは多義, 多品詞であることが多いので, 組み合わせ爆発などの問題が生しる. このため, 未登録語の意味推定法を考える前にまず未登録語の性質を明らかにし, 効果的な手法を考える必要がある. 本論文では, 比較的大規模なコーパスと電子化辞書を用いることにより, 実際に出現した未登録語を抽出し, それらの特徴を考察する. 具体的には未登録語の出現頻度, 種類別出現頻度, 品詞別出現頻度についての調査とその考察を行う. この調査結果から, 名詞未登録語の処理が最も重要であることを確認する. そして, 対象を名詞に限定して意味推定のための知識をまとめる. 知識は, 形態素レベル, 句レベル, 文レベルのものを考え, どの知識が意味推定に効果的であるかを考察した結果, 形態素レベルの知識が最も有効であり, 文レベルの知識はあまり有効ではないことを確認する. また, 名詞未登録語は陳述文中, 並列句中に存在することが多い, という統語的特徴も示す. この特徴は未登録語の意味推定のための大きな手がかりになると思われる.
1994-12-15

英文中に出現する未登録語の特徴分析とその意味推定のため知識の有効性に関する考察

スポンサーリンク

概要

著者

関連論文

スポンサーリンク