マルチモーダル音声対話における視覚情報の効果

概要

論文の詳細を見る
人間-音声対話システム間の円滑な対話のためには、システムの理解状態をユーザに積極的に開示することが重要な要素のひとつであると考えている。そこで、マルチモーダル対話において音声モダリティと視覚モダリティを併用することで、音声モダリティ、視覚モダリティを単独に用いる場合と比較して、システムのユーザ発話に対する理解状態を、どのくらいはやく、かつ正確に伝えることができるのか検証した。その結果、システム側が言語表現のみでは判断のつかない音声を出力した際に、特にシステムがユーザ発話を理解できなかったことを提示した場合において、音声と視覚モダリティを併用することで、ユーザにシステムの理解状態をより正確に伝えることができるようになることがわかった。また、はやく伝えられるかどうかに関しては音声、視覚モダリティ間の差よりもシステム側の出力音声の長さに依存し、システムが長い発話で理解状態を提示した場合には、視覚モダリティを併用することによってユーザに理解状態をよりはやく伝えることができるようになることが示された。
社団法人電子情報通信学会の論文
1999-06-18