時区間ハイブリッドダイナミカルシステムを用いたマルチメディア・タイミング構造のモデル化(複数モダリティ,<特集>インタラクションの理解とデザイン)

概要

論文の詳細を見る
実世界で行われるインタラクションを,カメラやマイクロフォン,生体センサ,脳計測装置などの複数のセンサで同時計測することで,複数のメディア信号が得られる.このとき,得られたマルチメディア信号には,身体動作と音声の同期や遅延などのように,異なるモダリティの変化パターン間に時間的構造が見られ,計測したインタラクションの認識・理解や,マルチモーダルインタフェースをデザインする際に,しばしば重要な役割を持つ.本論文では,このようなマルチメディア信号における時間的構造を見つけ出し,モデル化するための新たな手法を提案する.まず初めに,観測されたメディア信号を,要素的な変化に基づいて複数の時区間へ分節化する.この要素集合および信号の分節化を,時区間ハイブリッドダイナミカルシステムを用いることで自動的に行う手法を示す.次に,それぞれ異なるメディア信号から得られた時区間の対における,両区間の始点差,終点差を用いることで,メディア信号間に存在する同期や相互依存性,すなわち「マルチメディア・タイミング構造」を直接表現することが可能となる.本手法を,発話中の映像と音声に適用し,新たに入力した音声と同期するような唇動作の映像を生成することで,本手法の有効性を確認した.
2007-12-15

時区間ハイブリッドダイナミカルシステムを用いたマルチメディア・タイミング構造のモデル化(複数モダリティ,<特集>インタラクションの理解とデザイン)

スポンサーリンク

概要

著者

関連論文

スポンサーリンク