空間写像に基づく手の動きを入力とした音声生成系の構築(マルチモーダル)

概要

論文の詳細を見る
発声器官の制御に障害を持つ構音障害者が会話をする場合、文字や記号の入力を介して音声を生成する機器を用いることが多い。しかし、リアルタイムに自由な発話をすることが難しく、障害者が会話の主導権を握れない等の問題が指摘されている。そこで本研究では、文字や記号を介さない音声生成として、障害者自身の構音器官以外の身体運動から直接音声を生成するシステムの構築を検討する。近年、統計的に空間写像を設計する手法が話者変換の分野で用いられている。この手法を応用し、本研究では日本語五母音を対象として、身体運動の特徴量空間から音声の特徴量空間への写像に基づく音声生成系を構築する。まず予備的検討として、二母音間遷移中に別の母音が混入しないように母音とジェスチャーとを対応させ、連結母音音声の生成系を構築し、手の運動から音声生成が可能であることを確認した。次に、母音とジェスチャーとのより良い対応を求めるために、「ジェスチャー空間におけるジェスチャー群の配置」と「母音空間における母音群の配置」の等価性を、より保証できる空間写像を設計した。実験の結果、両メディア間の等価性を考慮した空間写像によって、より明瞭な音声を生成することが可能となった。
社団法人電子情報通信学会の論文
2008-11-13

空間写像に基づく手の動きを入力とした音声生成系の構築(マルチモーダル)

スポンサーリンク

概要

著者

関連論文

スポンサーリンク