道案内タスクにおけるマルチモーダル対話の会話文の特徴分析

概要

論文の詳細を見る
筆者らはマルチモーダルな対話環境における音声翻訳システムを実現するための基礎的な検討を進めている.本論文ではその第1段階として電話だけによる対話とマルチモーダルな環境下における対話の発話内容に関して,音声言語処理を行う観点から定性的,定量的な特徴の違いについて検討を加えている.実験で用いたマルチモーダルな対話環境は音声,動画像,静止画像,キーボード,マウスなどの入出力手段が利用可能なもので,タスクとしては道案内に関するものを用いた.被験者8名を用いた実験の結果得られた結論は以下のとおりである.(1)マルチモーダル対話では質問者と回答者の役割分担がいっそう明確化し,質問者側はより受け身となり同時に発話内容が単純化する傾向が見られる.(2)画面中の対象物を示す近称指示詞(これ,ここ等)の使用頻度が増加し,逆に電話会話で多用された中称指示詞(それ,そこ等)の使用頻度は減少しマルチモーダル化の影響が見られた.(3)回答者側の発話でマウスなどによるマーキングと同期して音声による説明が進行する場合が多く観測された.(4)質問者側では発話内容の一部,氏名や電話番号などの情報がテキスト情報に変化するモーダルシフトが見られた.更に,実験結果からマルチモーダルなユーザインタフェースを音声翻訳に適用する際に考慮すべき点およびシステム構成上の問題点に関して考察を加えている.
社団法人電子情報通信学会の論文
1994-08-25

道案内タスクにおけるマルチモーダル対話の会話文の特徴分析

スポンサーリンク

概要

著者

関連論文

スポンサーリンク