既存動画コンテンツを再利用して音楽にマッチした動画を自動生成するシステム(テーマセッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
スポンサーリンク
概要
- 論文の詳細を見る
本稿では,入力された任意の音楽を元に,既存の動画コンテンツを再利用し,人間が音楽と映像が同期していると感じる音楽動画を自動的に生成するシステムを提案する.本システムの土台となる音楽と映像の同期手法は,音楽のエネルギーを示す特徴量であるRMSに対し,映像のアクセント(明滅や動きなど)を付加するというものである.これは,本研究で行った主観評価実験により人が音楽と映像が「合っている」と感じると確かめられた同期手法である.本システムの動画生成は,まずデータベースの構築として既存の動画シーケンスから各フレームの明滅,動きに関する映像特徴量の計算を行う.それに対し入力音楽のRMSの挙動に最も近い挙動を示す映像特徴量を持つ動画シーケンスをデータベース中から探索し,それらの映像シーケンスを切り貼りすることで,音楽に最も同期している音楽動画の生成を行うというものである.
- 2011-05-30
著者
-
森島 繁生
早稲田大学大学院理工学研究科森島繁生研究室
-
森島 繁生
早稲田大学応用物理学科
-
平井 辰典
早稲田大学先進理工学部物理学科
-
大矢 隼士
早稲田大学先進理工学部物理学科
-
長谷川 裕記
早稲田大学先進理工学部物理学科
-
森島 繁生
早稲田大学理工学術院
-
森島 繁生
早稲田大学理工学部
-
森島 繁生
早稲田大学先進理工学部物理学科
-
森島 繁生
成跳大学工学部
-
森島 繁生
早稲田大学
-
森島 繁生
早稲田大学先進理工学部
-
森島 繁生
成蹊大学工学部電気電子工学科
-
森島 繁生
早稲田大学先進理工学研究科
-
長谷川 裕記
早稲田大学先進理工学研究科
-
森島 繁生
早稲田大学森島研究室
-
平井 辰典
早稲田大学
関連論文
- ストーリへの没入感を体験可能な高臨場感コンテンツ(高臨場感ディスプレイフォーラム2009臨場感とは何か?)
- ストーリへの没入感を体験可能な高臨場感コンテンツ(高臨場感ディスプレイフォーラム2009-臨場感とは何か?-)
- MRIを用いた前腕皮膚形状変化モデルの構築と運動生成
- MRIを用いた前腕皮膚形状変化モデルの構築と運動生成(一般セッション,コミュニケーション支援,共生コミュニケーション及び一般)
- A-15-15 MRIを用いた前腕運動時の皮膚形状変化の精密な再現(A-15.ヒューマン情報処理,一般セッション)
- 3.顔表情のCG合成と感動評価(いま"顔"が面白い〜顔の画像処理とその応用〜)
- フューチャーキャストシステム : 三井・東芝館(「愛・地球博」における最新映像技術)
- 数字発話時の唇動作に基づく顔認証システムの構築(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- 数字発話時の唇動作に基づく顔認証システムの構築
- B-18-3 表情動画像に基づく顔認証システムの構築(B-18. バイオメトリクス・セキュリティ, 通信2)
- ストーリへの没入感を実現するダイブイントゥザムービープロジェクト(テーマ関連/オーガナイズドセッション)
- ストーリへの没入感を実現するダイブイゥザムービープロジェクト(オーガナイズドセッション,CV/PR技術のVRへの応用)
- 5.効率的アニメ制作支援のための3次元CG技術(情報技術が支えるアートとコンテンツの世界)
- 顔情報データベースFIND : ―日本人の顔画像データベース構築の試み―
- 顔情報データベース構築の基礎的検討(3) : 表情画像の認知的評価とデータベースの信頼性について
- 顔情報データベース構築の基礎的検討(3) : 表情画像の認知的評価とデータベースの信頼性について(顔とコミュニケーション及び一般)
- 顔情報データベース構築の基礎的検討(2) : 撮影環境と検索インターフェイスについて(社会心理学とコミュニケーション及び一般)
- 曲率に依存する反射関数を用いた半透明物体の高速レンダリング (ディジタルエンターテイメントにおける数理・技術とコンテンツ論文小特集)
- キャラクタアニメーション制作の高能率化手法(ディジタルコンテンツ制作を支える新技術)
- リアルな頭部動作のモデリング(メディア処理・コンテンツ生成,ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- インタラクティブな声質変換システムの構築(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- A-15-3 リアルな頭部動作のモデリング(A-15.ヒューマン情報処理,一般講演)
- D-14-20 手本音声を用いた声質変換システム(D-14.音声・聴覚,一般講演)
- リファレンス音声に基づく韻律・声質・話者変換システム((SS)高品質音声分析変換合成法STRAIGHT, 一般, STRAIGHTスペシャルセッション(SS))
- A-15-10 感情音声と表情動画像を同時に提示した場合の印象評価(A-15. ヒューマン情報処理, 基礎・境界)
- 感情音声と表情画像を同時に提示した場合のマルチモーダル印象の評価(分析、生成と評価)(音声とコミュニケーション及び一般)
- 感情音声と表情画像を同時に提示した場合のマルチモーダル印象の評価
- 人物頭部モデル自動生成システムの実現--最適化局所アフィン変換に基づく人物頭部モデルの自動生成
- 最適化局所アフィン変換に基づく正面顔レンジスキャンデータからの頭部モデル自動生成
- A-15-16 顔動画像のオプティカルフローに基づく作り笑い・自然な笑いの識別(A-15.ヒューマン情報処理,一般セッション)
- A-15-17 多様な表情を合成可能な固有顔空間の構築(A-15.ヒューマン情報処理,一般セッション)
- A-15-14 MRIに基づく皮膚下構造を反映した顔面筋肉モデルの構築(A-15.ヒューマン情報処理,一般セッション)
- レンジデータに整合された顔モデル3次元座標のPCAによる大規模データベース対応型顔認証システム(顔・ジェスチャの認識理解(3),顔・ジェスチャの認識・理解)
- 動画の3次元周波数成分を用いた顔認証システム(テーマセッション(1),人の検出・計測・認識)
- 表情筋変形パラメータの推定による表情合成(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- D-11-80 アニメーションのための影編集ツールの開発(D-11.画像工学D(画像処理・計測),一般講演)
- B-18-2 顔動画像の3次元周波数成分を用いた顔認証システムの研究(B-18.バイオメトリクス・セキュリティ,一般講演)
- モーションキャプチャによる顔表情の定量表現(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- 特徴点の3次元情報を利用した顔認証システムの構築(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- 特徴点の3次元情報を利用した顔認証システムの構築
- B-18-2 特徴点の3次元情報を利用した顔認証システム(B-18. バイオメトリクス・セキュリティ, 通信2)
- 雑音環境下での音声の聞き取り実験による合成発話顔アニメーションの評価(コンピュータグラフィックス(CG)基礎)
- A-10-2 楽器音テンプレートマッチングによる倍音誤り補正システム(A-10.応用音響,一般セッション)
- 直感的に影を演出可能な編集ツール(ディジタルコンテンツ制作-DCS'07関連-)
- 曲率に依存する反射関数を用いた半透明物体の高速レンダリング(コンピュータグラフィックス(CG)基礎,ディジタルエンターテイメントにおける数理・技術とコンテンツ論文)
- D-11-81 非線形モーフィングに基づく手描き顔アニメーションの中割り画像生成(D-11.画像工学,一般セッション)
- 来場者の声の特徴を反映する映像エンタテインメントシステムのための台詞音声生成システム
- フューチャーキャストシステムの舞台裏と今後の展開(ソーシャルインタラクション及び一般)
- ストーリへの没入感を体験可能な高臨場感コンテンツ
- 音楽と映像の同期手法に基づくダンス動画生成システム
- 個人の音声を反映する映像エンタテインメントシステム
- ダンス動画コンテンツを再利用して音楽に合わせた動画を自動生成するシステム
- 個人顔の3次元形状変形とテクスチャ変換に基づくエージングシミュレーション(テーマ関連,顔・人物・ジェスチャ・行動)
- 個人顔の3次元形状変形とテクスチャ変換に基づくエージングシミュレーション(テーマ関連,顔・人物・ジェスチャ・行動)
- 音声の韻律情報の変換によるイントネーション変換システム(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- スナップ写真からの3次元顔モデル高速自動生成(テーマ関連,顔・人物・ジェスチャ・行動)
- スナップ写真からの3次元顔モデル高速自動生成(テーマ関連,顔・人物・ジェスチャ・行動)
- 調音結合モデルを用いた母音交換に基づく話者変換法(音声変換,認識,理解,対話,一般)
- 多視点顔画像に基づく3次元顔形状推定(テーマ関連,顔・人物・ジェスチャ・行動)
- 多視点顔画像に基づく3次元顔形状推定(テーマ関連,顔・人物・ジェスチャ・行動)
- D-12-8 多視点顔画像に基づく顔器官毎の重みを考慮した3次元顔形状推定(D-12.パターン認識・メディア理解,一般セッション)
- A-15-10 3次元形状とテクスチャの双方の変換による年齢変化顔の生成(A-15.ヒューマン情報処理,一般セッション)
- レンジデータに整合された顔モデル3次元座標のPCAによる大規模データベース対応型顔認証システム(顔・ジェスチャの認識理解(3),顔・ジェスチャの認識・理解)
- 動画の3次元周波数成分を用いた顔認証システム(テーマセッション(1),人の検出・計測・認識)
- D-11-81 アニメ映像からの頭髪運動の構築(D-11.画像工学D(画像処理・計測),一般講演)
- D-14-4 調音結合補正を用いた母音交換法に基づく話者変換法(D-14. 音声,一般セッション)
- 3種の色光源を用いた多視点動画像からの動的立体構造再現(テーマ関連,顔・人物・ジェスチャ・行動)
- 3種の色光源を用いた多視点動画像からの動的立体構造再現(テーマ関連,顔・人物・ジェスチャ・行動)
- MRIを用いた前腕皮膚形状変化モデルの構築と運動生成(一般セッション,コミュニケーション支援,共生コミュニケーション及び一般)
- MRIを用いた前腕皮膚形状変化モデルの構築と運動生成(一般セッション,コミュニケーション支援,共生コミュニケーション及び一般)
- モーションキャプチャシステムを用いた頭髪アニメーション手法の提案
- D-11-114 車体形状の定量表現によるカーデザインツールの構築(D-11.画像工学D(画像処理・計測),一般講演)
- BT-2-2 コンシューマ参加型デジタルコンテンツ(BT-2.ネットワークを活用したディジタルメディア〜テクノロジとビジネスの最新動向〜,チュートリアルセッション,ソサイエティ企画)
- D-11-109 データベースに基づく車体形状デザインGUIの構築(D-11.画像工学,一般セッション)
- 遮蔽度の曲率近似によるアンビエントオクルージョンの局所照明モデル化
- MRIを用いた骨格・関節のモーションキャプチャリング(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- MRIを用いた骨格・関節のモーションキャプチャリング
- A-15-12 骨格モーションキャプチャ(A-15. ヒューマン情報処理, 基礎・境界)
- MRIイメージからの骨格抽出と高忠実な骨格および関節のモーションキャプチャリング(テーマ関連セッション(1))
- CGキャラクタの存在感
- 歩行における知覚的類似性尺度に基づく個人性を強調した動作合成手法
- A-16-10 静的・動的特徴を考慮した布の物理パラメータ推定(A-16.マルチメディア・仮想環境基礎,一般セッション)
- A-15-11 人体の骨格形状を考慮したスキニング手法の提案(A-15.ヒューマン情報処理,一般セッション)
- 主観評価に基づく個人性を強調した歩行動作合成手法の提案
- 表出過程の印象を考慮したより自然な笑顔動画像の合成 (ヒューマンコミュニケーション基礎)
- 座長からの報告
- 新映像技術「ダイブイントゥザムービー」
- 椎骨骨格形状モデルに基づくデータドリブンな脊椎動作モデリング(セッション1:モデリング)
- D-12-30 基準形状変形による多視点動画像からの動的立体形状再現(D-12.パターン認識・メディア理解,一般セッション)
- アノテーション情報を付加した画像内容推定結果に基づく自動ダンス動画生成システム
- D-12-39 顔画像における陰影変化を伴う表情生成(D-12.パターン認識・メディア理解,一般セッション)
- D-12-38 幾何学的制約を考慮したLinear Predictorsによる顔特徴点自動抽出(D-12.パターン認識・メディア理解,一般セッション)
- D-12-37 経年変化を考慮した個人識別手法の検討(D-12.パターン認識・メディア理解,一般セッション)
- D-12-10 動的な水の表面形状を考慮した流体のパラメータ推定(D-12.パターン認識・メディア理解,一般セッション)
- プログラム担当より
- テクスチャ-デプスパッチタイリングに基づく正面顔画像からの3次元形状推定
- テクスチャ-デプスパッチタイリングに基づく正面顔画像からの3次元形状推定
- 疎な特徴点と顔変形モデルに基づく動画像からの3次元顔モデル自動生成手法
- 疎な特徴点と顔変形モデルに基づく動画像からの3次元顔モデル自動生成手法
- 表出過程の印象を考慮したより自然な笑顔動画像の合成(一般,『コミュニケーションの身体を捉える』及び一般)