実写融合と形状変形の適応的選択による顔表情生成
スポンサーリンク
概要
- 論文の詳細を見る
イメージ系の視覚情報を中心とした臨場感通信は次世代3次元画像通信として社会的に大きな期待がかけられている. 顔表情は感情とテキスト(文字言語情報)から成る「メッセージ」を伝達しており, 人間同士の自然で円滑なコミュニケーションの実現のために本質的な役割を果たす. 本論文では, 顔表情生成の主体となる眼と口唇部分の幾何構造と動きの特徴を, 顔の3次元形状変化と表面の動き変化を観測した顔動画像を分析し, それぞれの部位の動きの特徴と複雑さに応じて, 実写融合法あるいは形状変形法のいずれかを適応的に選択することによりライブの顔表情を実時間で再現する方法を提案する. 感情伝達の主体である眼領域の動きは微妙で複雑でありながら, 表情変化に伴う3次元形状変化が小さいことから, 筆者らの提案による「拡張仮想感」を用いて, 顔の3次元CGモデル上に表情変化を観測したライブ映像を融合することにより生成する. 一方, テキスト伝達の主体となる口唇表情は, 形状変化が大きく3次元モデル自体の変形が必要であるため, 位相幾何学のホモトピーに基づく曲面変形法を用いて, 画像分析により抽出した口輪筋の動き特徴に基づいて発話に忠実な3次元口形状を滑らかに効率的に生成する. 臨場感通信を指向した提案手法を実装し, ライブメッセージを伝達する実時間3次元顔表情生成システム実現の可能性を明らかにする.
- 一般社団法人情報処理学会の論文
- 1997-07-25
著者
-
田中 弘美
立命館大学理工学研究科
-
小野 一義
立命館大学理工学部
-
田中 弘美
立命館大学
-
足立 裕昭
立命館大学理工学部情報学科コンピュータビジョン研究室
-
石澤 彰
立命館大学理工学部情報学科コンピュータビジョン研究室
-
小野 一義
立命館大学理工学部情報学科コンピュータビジョン研究室
関連論文
- オンラインリメッシュ型柔軟物シミュレーションのGPUによる高速化(シミュレーション,人工現実感)
- 大規模柔軟体の特定部位を対象とした力覚インタラクションのためのハイブリッド動的変形モデル(医療応用,人工現実感)
- オンラインリメッシュ型柔軟物シミュレーションのGPUによる高速化 (マルチメディア・仮想環境基礎)
- 多方向照明HDR画像を用いたシルクライク織物の3次元織構造モデリング
- 第4回大会報告
- 浮世絵のデジタルコンテンツ化のための3次元物体モデリングと可視化(特別セッション2)
- 同一力覚デバイスによる摩擦力計測・提示システム(研究速報)
- 球面相関を用いる多視点距離・カラー画像の統合
- 3次元曲率の球面相関による顔認識
- 多方向照明HDR画像からのメゾ構造に基づく触感提示システム(研究速報)
- 動きのリアリティを再現する拡張仮想感のための自動色調調整 : 実時間顔表情アニメーションへの応用
- 形状の面対称性に基づく能動的観測による3次元物体形状の復元および色彩情報の再現(新映像メディアとその応用)
- 仮想空間と実空間の融合のための自動色調調整
- 仮想空間と実空間の融合のための自動色調補正
- Homotopyに基づいた表情の3次元アニメーション
- ボリュームデータの局所特徴に基づく並列三次元領域抽出
- 柔軟物体の適応的四面体ボリュームメッシュのオンラインリメッシュ法
- ボリュームデータの適応的四面体メッシュ表現並列生成アルゴリズム
- 適応的四面体格子表現のDual Grid生成法(形状モデリング(2),形状モデリングおよびCG一般)
- D-12-47 ボリュームデータの動的アダプティブグリッド生成法(D-12.パターン認識・メディア理解,一般講演)
- ボリュームデータの適応的四面体格子に基づく並列セグメンテーション(医用画像一般)
- 6X-3 物体表面微細構造に基づく皮膚刺激信号パラメータの抽出(VRとセンサ,学生セッション,インタフェース)
- 多方向照明HDR画像を用いた金襴の多重解像度異方性BTFモデリング(基礎,サイバーワールド論文)
- 多方向照明HDR画像を用いた金襴の多重解像度異方性BTFモデリング(テーマ関連セッション4)
- 大規模柔軟体の特定部位を対象とした力覚インタラクションのためのハイブリッド動的変形モデル (マルチメディア・仮想環境基礎)
- 多方向照明HDR画像を用いた金襴の多重解像度異方性BTFモデリング(テーマ関連セッション4,三次元画像,多視点画像)
- バーチャルミュージアムシステムのための画像情報を用いた3次元物体モデリング (人文科学とコンピュータ)
- 多方向照明HDR画像を用いた金襴の多重解像度異方性BTFモデリング(テーマ関連セッション4,三次元画像,多視点画像)
- 能衣装のデジタルコンテンツ化のための布物体モデリングと可視化(特別セッション2)
- 反射光解析に基づく織布の微細表面形状モデリング(形状モデリング(1),形状モデリングおよびCG一般)
- 奥行知覚特性に基づく多重解像度三次元物体表示(三次元形状, 画像の認識・理解論文)
- ボリュームデータの適応的四面体メッシュ表現並列生成アルゴリズム
- IUE(画像理解用標準ソフトウェア)とCalibrated Image Databaseの現状
- レイベース逆投影による少視点X線画像からの多重包含構造物体のボリューム再構成
- レイベース逆投影による少視点X線画像からの多重包含構造物体のボリューム再構成 (コンピュータグラフィクスの新展開)
- 再帰的分割による適応的ボリューム表現
- アダプティブメッシュを用いた画像の並列領域分割
- D-12-149 多視点X線画像を用いたボリュームデータの構築
- 適応メッシュを用いた並列領域分割
- 大規模柔軟体の特定部位を対象とした力覚インタラクションのためのハイブリッド動的変形モデル(医療応用,人工現実感)
- 1ZC-8 力覚を伴うボリュームベース遠隔仮想協働環境における交信データの時刻同期制御(バイオ情報学と医用画像,学生セッション,コンピュータと人間社会)
- D-12-13 ハブティックビジョンに基づく非一様柔軟物体の内部領域境界抽出(D-12.パターン認識・メディア理解,一般セッション)
- 1ZC-7 連続体力学に基づくパーティクルベースモデルの変形シミュレーション(バイオ情報学と医用画像,学生セッション,コンピュータと人間社会)
- 1ZC-6 ボリュームデータのマルチレートオンラインリメッシュ法による穿刺シミュレーション(バイオ情報学と医用画像,学生セッション,コンピュータと人間社会)
- 領域拡張法と確率アトラスを用いた3次元非造影腹部CT画像からの肝臓領域抽出法(一般セッション,センシングのための認識・理解)
- 領域拡張法と確率アトラスを用いた3次元非造影腹部CT画像からの肝臓領域抽出法(一般セッション,センシングのための認識・理解)
- 領域拡張法と確率アトラスを用いた3次元非造影腹部CT画像からの肝臓領域抽出法(一般セッション,センシングのための認識・理解)
- D-16-9 局所領域の相関マップと確率アトラスを用いた非造影3次元腹部CT画像における肝臓領域抽出法(D-16. 医用画像,一般セッション)
- Analysis by Reality-Based Simulationに基づく関節物体の力学的機能推定(マルチメディア処理)
- ハプティックビジョンに基づく関節物体のインタラクティブモデリング(画像認識,コンピュータビジョン)
- ボリュームデータの動的アダプティブグリッド生成(卒論セッション(ポスター発表))
- D-12-98 ハプティックビジョンに基づく摩擦係数推定(D-12.パターン認識・メディア理解,一般講演)
- 適合細分化格子を用いた仮想切断作業(ポスター2, 医用画像一般)
- 適合細分化格子を用いた仮想切断作業
- ハプティックビジョンに基づく能動的物体重量推定(ロボットビジョン)
- ハプティックビジョンに基づく能動的レオロジー物体モデリングのための粘弾性パラメータ抽出
- 安定姿勢における形状対称性を用いた能動的3次元形状推定 : 機能から形状を推定するアプローチ(画像の認識と理解)
- ハプティックビジョンに基づく能動的レオロジー物体モデリングのための粘弾性特徴抽出(卒論セッション)
- 仮想空間シミュレーションによる関節物体の力学的機能推定(卒論セッション)
- ハプティックビジョンに基づく物体の機能推定
- 仮想空間シミュレータ自動構築のためのハプティックビジョンに基づく物体間の水平支持接触拘束抽出
- 2A1-F5 体積効果を用いたレオロジー物体モデリング(16. 柔軟物のモデリングと力覚を伴った変形手法)
- 物体の機能推定のための安定姿勢の抽出
- 能動触覚に基づく物体の重量推定
- 能動触覚に基づく水平接触拘束関係の抽出
- D-12-183 能動触覚に基づく物体の重量推定
- D-12-182 仮想物体操作のための能動触覚に基づく物体相互拘束の抽出
- D-12-181 能動視覚に基づく実測図自動生成
- 奥行きおよび空間知覚特性に基づく階層的3次元物体モデルの生成・表示
- 奥行き知覚に基づく階層的3次元物体モデルの生成
- 多視点画像の反射光解析に基づく布の異方性反射モデリング
- 動きのリアリティを再現する拡張仮想感のための自動色調調整 : 実時間眼表情生成への応用
- 符号付き動的輪郭モデルを用いる多視点画像からのCSG表現自動生成 : 多視点2次元トポロジーから3次元トポロジーへ
- 仮想物体操作のための能動触覚に基づく物体相互拘束の抽出
- 符号付き動的輪郭モデルを用いる多視点画像からのCSG表現自動生成
- 領域のトポロジカルな構造抽出のための符号付き動的輪郭モデル
- 安定姿勢における形状対称性を用いた能動的3次元形状推定 : 機能から形状を推定するアプローチ
- 符号付動的輪郭モデルを用いた入れ子構造領域の抽出
- 仮想服飾デザイン支援システムの試作
- オンラインリメッシュ型柔軟物シミュレーションのGPUによる高速化(シミュレーション,人工現実感)
- 5N-8 適応的四面体ボリュームメッシュに基づくオンラインリメッシュを伴う変形計算のGPUによる高速化の検討(アルゴリズム,学生セッション,ソフトウェア科学・工学,情報処理学会創立50周年記念)
- 2ZJ-3 異性能計算機で構成された遠隔触覚協働環境のための柔軟物体の変形同期手法の検討(AR基礎,学生セッション,インタフェース,情報処理学会創立50周年記念)
- 多方向照明HDR画像からのメゾ構造に基づく触感提示システム
- 距離画像・カラー画像を用いた表面反射特性の推定
- ハプティックインターフェイス実現のための能動触覚
- 4)奥行き知覚特性に適応する階層的3次元物体モデルの生成・表示(ヒューマンインフォメーション研究会)
- 奥行き知覚特性に適応する階層的3次元物体モデルの生成・表示法
- D-12-112 反射光解析に基づく布の異方性反射モデルの生成
- ライブメッセージ伝達のための複合現実感を用いる3次元顔表情生成
- 実写融合と形状変形の適応的選択による顔表情生成
- 「愛でる」を持って国際競争力に繋げる戦略を!
- 同一力覚デバイスによるテクスチャベースの摩擦力計測・モデル化・提示システムの開発(ヒューマンコンピュータインタラクション,サイバーワールド論文)
- 織物のデジタル文化財のリアルタイムかつ直接的視触力覚提示システム(MR/ARの実用化に向けたCV/PR技術の課題と展望)
- 動的照明による織物の異方性反射レンダリング(MR/ARの実用化に向けたCV/PR技術の課題と展望)
- 動的照明による織物の異方性反射レンダリング(MR/ARの実用化に向けたCV/PR技術の課題と展望)
- 織物のデジタル文化財のリアルタイムかつ直接的視触力覚提示システム(MR/ARの実用化に向けたCV/PR技術の課題と展望)
- オンラインリメッシュ型変形計算のGPUによる高速化と大規模仮想柔軟物体との力覚インタラクション(ハプティクスとVR)
- 多方向照明HDR画像を用いたシルクライク織物の3次元織構造モデリング(デジタルミュージアム・アーカイビング)
- 立体的織物文化財のリアルタイムかつ直接的VR展示システム(一般,複合現実感,仮想都市,及び一般)
- 座長からの報告