手から声のメディア変換モデルと手のジェスチャーモデルの確率的統合に基づく異メディア空間の対応付けの検討(音声一般・障害者支援,聴覚・音声・言語とその障害/一般)

概要

論文の詳細を見る
発声器官の制御に障害を持つ構音障害者が会話をする場合、文字や記号の入力を介して音声を生成する機器を用いることが多い.しかし、リアルタイムに自由な発話をすることが難しく、障害者が会話の主導権を握れない等の問題が指摘されている.そこで本研究では、文字や記号を介さない音声生成として、障害者自身の構音器官以外の身体運動から直接音声を生成するシステムの構築を検討している.近年、二話者から与えられたパラレルデータに対して、統計的に空間写像を設計する手法が話者変換の分野で用いられている.この手法を応用し、本研究では、身体運動の特徴量空間から音声の特徴量空間への写像に基づく音声生成系を検討している.これまでに、手姿勢(ジェスチャー)を入力とした日本語五母音の連続音声生成において、本手法が有効であることを報告した.本稿では、母音のみのパラレルデータを用いて音声-ジェスチャー変換システムを構築し、それに子音音声を入力することにより、子音に割り当てるジェスチャーを推定する手法を検討した.
2011-02-25