HMMによる非タスク指向型対話システムの評価(ヒューマンインタラクションとパターン認識・メディア理解・言語理解)

概要

論文の詳細を見る
近年、コンピュータが人間と対話するシステム(対話システム)は様々な分野で研究、利用されている。このようなシステムの実現のためには、性能の定量的評価が不可欠である。チケット、切符の予約などを目的としたタスク指向型対話システムでは、客観的・定量的な評価法がある程度確立されているのに対し、非タスク指向型対話システムにはアンケートなどの主観的な評価法が主に用いられている。本研究では、非タスク指向型対話システムの客観的・定量的な評価法を提案する。本手法では、人間同士の対話は自然で理想的な対話であると仮定し、人間同士の対話に発話タグを自動的に付与し、付与したタグの列を学習したHMMを作成する。タグの自動付与にはn-gramを用いる。学習したHMMにより、対話の自然さを評価する。実験の結果、タグの自動付与の正解率は54%、意味的に近いものを許容した場合で82%であった。また、HMMを用いた自然さの評価では、出力確率の大小によって対話の自然さを評価可能であることが確認された。
社団法人電子情報通信学会の論文
2006-10-12