空間分割型CL-LSIによる大規模言語横断情報検索(<特集>情報の検索とテストコレクション)

スポンサーリンク

概要

論文の詳細を見る
本稿では,Latent Semantic Indexing(LSI)方式による言語横断情報検索において問題となる,大規模な対訳コーパスの利用方法について考察する.大規模対訳コーパスを用いて単語空間を作成しようとすると,LSIの要である単語-文書頻度行列の特異値分解が記憶装置の制約で難しくなるとともに,語の訳の曖昧性が非常に大きくなるという問題がある.そこで,文書の類似度に従って,対訳コーパスを適切な複数の部分対訳コーパスに分割し,各々の単語空間を作成する手法を提案する.この方法では,検索対象の文書を,最も類似した部分対訳コーパスから構成された単語空間に配置することによって,訳語の曖昧性を減少させる.検索時には,検索質問をそれぞれの単語空間に配置し,文書ベクトルとの類似度計算を行う.このときに,単語空間ごとの未知語に対する重み付けの補正が重要であり,検索精度が10%〜20%程度向上することを示す.
社団法人情報処理学会の論文
2002-03-15

著者

関連論文

もっと見る

スポンサーリンク