音声駆動による実時間表情変形システム : "Better Face Communication" at SIGGRAPH'95
スポンサーリンク
概要
- 論文の詳細を見る
擬人化仮想エージェントやアニメーションキャラクタの発する音声と表情情報の同期が重要な研究テーマとなっている。特に、唇の動きと音声を同期させるリップシンクは多くの報告がなされている。本稿では、コミュニケーションシステムへの応用を想定して、リップシンクを実時間で実現する手法について報告する。マイクロフォンから入力された音声から、フレーム単位にスペクトル情報が計算され、ニューラルネットによって口形のパラメータに変換される。表情はこのパラメータ情報に基づいて3次元ワイヤフレームモデルを変形し、人物のテクスチャを貼り付けることによって実現される。実際にこのアルゴリズムをリアルタイムシステムとして実現し、任意の訪問者の正面静止画像と僅かな音声サンプルの取得後、自らの囗の動きを自身でコントロールしたり表情を付加できるデモシステムをSIGGRAPH'95に出展して評価を行った。
- 1995-10-27
著者
関連論文
- アクティブカメラによる視線追跡・自動Lip Reading
- D-11-173 自然な頭髪の運動と髪型を保存する復元力の表現
- 房モデルによるヘアスタイルデザインシステムの開発
- コンピュータグラフィックスを用いた矯正治療による表情の変化
- 6-2 3次元モデルを用いた発話アニメーションの作成
- 実時間インタラクションシステムの構築
- 3次元モデルを用いた口形状の制御
- 仮想人物とユーザの対話を実現するための音声から画像への実時間メディア変換システム
- モーションキャプチャを用いた内部骨格の動作再現(ヒューマン情報処理及び一般)(ヒューマンコミュニケーショングループ(HCG)大会)
- 生理学的手法を用いた顔面筋肉モデルの構築
- 高速度カメラによる動的な顔面表情の分析および合成
- 自発・演技表情表出時における顔面動作および表情合成
- 高速度カメラを用いた顔面動作の分析および表情合成
- 陰影を考慮した頭髪の表現に関する一検討
- ダイナミックスモデルに基づく自然な頭髪アニメーション
- 1-3 流体モデルに基づく髪の毛の運動制御
- 頭髪と人体の高速な衝突判定に関する一検討
- あなたは人の計測にCV技術を使いますか?
- A-16-5 舌モデルの付加によるリアルな英語口形の実現と発話アニメーション
- 空間周波数に基づく顔器官の形状認識と再合成
- 30-2 2次元マーカ移動量からの顔面筋パラメータ自動推定
- ニューラルネットに基づくマーカ移動量からの顔面筋パラメータの推定
- 正面顔画像のマーカ移動量からの顔面筋パラメータの自動推定
- D-12-96 3次元レンジセンサを利用した表情合成における汎用性の実現(D-12. パターン認識・メディア理解B)
- レンジセンサを用いた表情の計測および変形ルールの記述(顔とコミュニケーション)
- 空間共有コミュニケーションの実験システム : BEOEB(感性情報処理および一般)
- 3次元計測に基づく顔表情変化の分析と合成
- 擬人化エージェントに必要な顔のリアリティとそのモデル化
- 表情の分析・合成を用いたサイバースペース内でのフェーストローフェース対話システム
- 表情の分析・合成を用いたサイバースペース内でのフェーストローフェース対話システム
- ニューラルネットに基づく画像圧縮 : 高速化と重み行列について
- D-11-142 基本動作の合成による多様な人物動作の作成(D-11.画像工学D)
- 音声の韻律情報の変換によるイントネーション変換システム(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- 音声のパラメータ変換によるイントネーション変換システムの構築(ヒューマンコミュニケーション及び一般)(ヒューマンコミュニケーショングループ(HCG)大会)
- 顔画像を基にした3次元感情モデルの構築とその評価
- 画像の2次元離散コサイン変換を利用した実時間顔表情認識
- 9)空間周波数を利用した実時間顔表情認識([マルチメディア情報処理研究会 ネットワーク映像メディア研究会]合同
- 9)空間周波数を利用した実時間顔表情認識([マルチメディア情報処理研究会 ネットワーク映像メディア研究会]合同)
- 動画像からの実時間表情認識
- 空間周波数を利用した実時間顔表情認識
- カスタマイズ性を考慮した擬人化音声対話ソフトウェアツールキットの設計(音声言語情報処理とその応用)
- HTMLブラウザを用いた感情音声刺激のSD法評価実験(研究発表B,IV.第16回大会発表要旨)
- 音声に込められた感情の意味次元に関する検討
- 感情音声による感情空間の構築
- 擬人化音声対話エージェント基本ソフトウェアの開発プロジェクト報告(プロジェクト紹介(2))(第5回音声言語シンポジウム)
- 擬人化音声対話エージェント基本ソフトウェアの開発プロジェクト報告(第5回音声言語シンポジウム : プロジェクト紹介(2))
- 擬人化音声対話エージェント基本ソフトウェアの開発プロジェクト報告(第5回音声言語シンポジウム : プロジェクト紹介(2))
- 擬人化音声対話エージェントツールキットGalatea
- 擬人化音声対話エージェント開発プロジェクト
- 擬人化音声対話エージェントツールキットの基本設計
- 房単位で編集可能なヘアスタイルデザインシステム(ネットワークプロセッサ,通信のための信号処理,及び一般)
- 房単位で編集可能なヘアスタイルデザインシステム(ネットワークプロセッサ,通信のための信号処理,及び一般)
- 房単位で編集可能なヘアスタイルデザインシステム(ネットワークプロセッサ,通信のための信号処理,及び一般)
- ポリゴン細分割とテクスチャブレンディングによるリアルな表情合成(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- 擬人化音声対話エージェントツールキットの基本設計
- HYPERMASK : 3次元顔モデルを用いた仮面の構築
- 高速度カメラを用いた顔面動作の分析および表情合成
- 高速度カメラを用いた顔面動作の分析および表情合成
- 3次元空間共有コミュニケーション技術の研究開発 : 実写画像をベースとしたマルチメディア・アンビアンスコミュニケーションの実現に向けて
- D-11-148 古典バレエのモーションキャプチャリング
- D-11-170 人物モデルの構築と歩行動作のルール化によるアニメーション生成
- A-14-13 レンジファインダを用いた表情編集ツールの構築
- レンジファインダを用いた表情変形ルールと表情編集ツールの構築
- 空間曲線上の点の直接操作によるヘアスタイルデザインシステム及びカット機能の実現
- D-11-113 空間曲線上の点の直接操作による頭髪スタイル制御とカット機能を有するヘアスタイルデザインシステム
- 3次元個人顔モデルを用いたビデオ映像中の顔の自動トラッキング及びモデルマッチムーブ処理
- D-12-126 3次元顔モデルを用いたビデオ映像中の自動顔トラッキングとモデルマッチムーブ
- A-14-19 顔特徴点抽出に基づく正面顔画像への標準顔モデルの自動フィッティング
- 仮想空間上におけるリアルな三次元口形状の作成
- 複数アングル画像からの3次元頭部モデルの生成と表情合成
- 複数アングル画像からの3次元頭部モデルの作成と表情合成
- A-16-11 3次元アバタの構築とリアルタイム対話システム
- D-8-11 擬人化音声対話システム構築のための顔モデル生成ツールの開発(D-8. 人工知能と知識処理)
- A-14-2 音声のパラメータ変換によるイントネーション変換システムの構築
- 擬人化音声対話システムにおけるエージェント画像生成
- 擬人化音声対話エージェントのための表情合成技術
- 擬人化音声対話エージェントのための表情合成技術
- ネットワークシアタ : 仮想環境とコンピュータネットワークによるコンテンツ作成システム
- A-14-21 高速度カメラを用いた表情表出時の顔面動作の分析および微妙な表情の合成
- 擬人化音声対話エージェント開発と周辺技術 : (3)対話における顔画像生成
- 判別分析法による音声の感情推定及び実時間メディア変換システム
- 韻律情報制御のための感情音声合成GUIツール
- 自然音声の分析に基づく音声への感情情報の付加
- D-11-141 制御点の増減による頭髪アニメーション合成のリアルタイム処理(D-11.画像工学D)
- MRIとモーションキャプチャシステムを用いた精度の良い骨格の動き推定(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- D-11-143 前腕部の骨格動作推定(D-11.画像工学D)
- 複数画像からの実時間身体姿勢推定の検討
- 熱画像を用いた人物全身像の実時間姿勢推定(画像技術における学習・適応・進化)
- 熱画像からの人体の姿勢推定の高度化の検討
- 8)モデルフィッティングのための正面顔画像からの特徴点自動抽出([マルチメディア情報処理研究会 ネットワーク映像メディア研究会]合同)
- 8)モデルフィッティングのための正面顔画像からの特徴点自動抽出([マルチメディア情報処理研究会 ネットワーク映像メディア研究会]合同)
- モデルフィッティングのための正面顔画像からの特徴点自動抽出
- D-12-14 パンチルト制御可能な複数のカメラの連携による顔領域追跡
- A-15-3 空間周波数成分と十字テンプレートを用いたリアルタイム顔器官形状認識と表情合成
- D-12-32 パンチルトカメラの多段接続による顔の特徴部位追跡
- 顔モデルにおける口唇形状動作の改善
- 仮想現実的顔画像処理システムを用いた顔面表情知覚の精神物理学的研究特に基本表情の強度と感覚量の関係について
- 解剖学に基づいた顔面筋肉モデルによる顔表情合成(-ヒューマンコミュニケーショングループ大会-「ヒューマンコミュニケーション基礎一般」)
- 物理モデルを用いた表情合成方法の構築および皺の表現
- A-15-24 複数の基本顔の恒等写像学習による感情空間構成