話速変換単語音声聴取に非同期話者映像がもたらす影響(「感性情報処理の基礎と応用」及びヒューマン情報処理一般)

概要

論文の詳細を見る
音声の話速を遅くすることで了解度が向上することが知られている.しかし, テレビ放送など音声と映像が同時に提示されるメディアにおいて話速のみを遅くすると, 話者映像との非同期により, 話者の口形情報が有効利用できなくなり, 音声認知に悪影響を及ぼすことが考えられる.そこで本研究では, 話者映像と音声のずれが単語了解度に及ぼす影響を調べるため, 4モーラ単語のうち各モーラにおいて1音素違いのペア単語刺激を用意し, 「映像のみ」条件, 「音声のみ」条件, 「音声+映像」条件で単語了解度実験を実施し, 各モーラ位置において視聴覚統合が生じているか検討した.また, 通常速度の音声と映像を単に一定時間非同期にした単語了解度実験もあわせて行い, 話速変換による非同期の許容限の特徴を探った.その結果, 単語音声を400msまで伸長し, 通常速度の映像を付加しても, 単語了解度に影響を及ぼさないことが分かった.このことは, 音声と映像の開始点が同じであることが重要であることを示している.また, 話速変換音声に通常速度の映像を付加しても, 高い了解度を期待できることが示唆される.
社団法人電子情報通信学会の論文
2005-12-08