日本語抜粋システムの評価について
スポンサーリンク
概要
- 論文の詳細を見る
われわれは先に重要語評価システムを開発したさい、システムの評価を二つの方法で行なった。ひとつは、筆者があらかじめ選んだキーワードに対する一般的な精度(適合率・再現率)を求める方法であり、もうひとつは定性的な判断を行なう目的で、重要語を含む文を抜粋し、原文の主旨に対する忠実度を主観的に判断するというものであった。ただその時点では、抜粋結果に対して明確な判定基準を設けていなかった。いっぽう、自動抜粋システムとしての応用を考慮し、今後は、抜粋固有の問題を取り扱う予定であり、システム改良のために評価の方法および判定基準などをある程度明確にしておく必要があると考えた。今回、実際に評価基準を設けて小規模な評価実験を行なったので、その結果について報告する。自動インデキシングを含め、こうしたアプリケーションでは、システムの検証のための手法を明確にしておかないと、試行錯誤的な研究開発を円滑に進めることは難しい。
- 一般社団法人情報処理学会の論文
- 1991-02-25