ファジーマッチング関数による言語の類似性の定量化 : 形態素解析の導入

概要

論文の詳細を見る
自然言語処理システムにおいて曖昧処理技術の問題は大変重要であり、本研究の目的は自然言語処理における曖昧処理技術を確立し、情報検索等の自然言語/メッセージ処理システムに応用することにある。さて言語の曖昧性にも種々の場合とレベルが考えられるが本稿では大きく以下の3点から複合語レベルの考察を行う。a)人間の言語知識の曖昧性(記憶違い、うろ覚え) b)人間の人力誤り(ミススペル) c)人間とマシンとの言語知識の相違・言語の多義性・多表記性(表記揺れ)・マシンの知識不足ここで、従来からの上記の問題点に対する一般的対処方法としては、a)、b)に対して、誤りパターンの登録あるい知識処理による誤りパターンの生成、部分一致、マッチング関数による方法が、c)に関しては、異表記語・同義語の登録、部分一致による方法、あるいはマッチング関数による類義語・類似語への変換による方法が考えられている。尚、部分一致は、マッチング関数に比べ性能上優れてはいるが精度の点では落ちるという特徴がある。そこで、本研究ではa)-c)の問題を解決するために、精度の向上を目標としたマッチング関数の高度化の検討を行うことにする。マッチング関数を利用した類似度計算に関する研究としては、コサイン関数を基本として、文字列を部分文字列化してこれを高度化する方法、漢字の意味的尺度を基に計算する方法、単語の共起頻度を基に計算する方法等が報告されている。しかし、これらにおいては、長さ、順序、重みという語の特徴を全て反映した類似度計算の検討はなされていない。そこで、筆者は従来よりこの観点からの研究を進めてきたが、これは文字レベルのマッチングを行っているため、どの文字も等価的に扱われるという問題があった。そのために、より精繊な類似度計算のためには語の意味的最小構成要素である単位語単位の比較を基本としたアルゴリズムの検討が必要である。そこで、本稿では文字列/単語の類似度評価関数であるファジーマッチング関数を複合語レベルのマッチング関数へと改良し、精密化を試みる。以降、第2章において、従来のファジーマッチング関数と本提案の複合語間のファジーマッチング関数を述べ、第3章においてその応用と今後の課題、第4章において結びを述べる。
1992-09-28

ファジーマッチング関数による言語の類似性の定量化 : 形態素解析の導入

スポンサーリンク

概要

著者

関連論文

スポンサーリンク