多人数会話シーン分析に向けた実時間マルチモーダルシステムの構築 : マルチモーダル全方位センサを用いた顔方向追跡と話者ダイアリゼーションの統合(テーマセッション2,アンビエント環境知能)
スポンサーリンク
概要
- 論文の詳細を見る
本稿では,複数人の対面会話シーンの分析に向けた実時間マルチモーダルシステムを提案する.このシステムでは,基本的な会話の状態を知るために,「誰がいつ話しているか」という話者の同定(話者ダイアリゼーションと呼ぶ),及び,「誰が誰をみているか」という視覚的な注意の焦点の推定を実時間で行うことを目標とする.まず,会話シーンを観測するために,2台の魚眼レンズ付きカメラと3本のマイクからなる全方位マルチモーダルセンサを提案する.次に,全周画像上にて会話参加者の顔の位置と方向の推定を行う.ここではその方法としてSTCTracker(疎テンプレートコンデンセーション追跡法)と呼ばれる方法を採用し,これをGPU(グラフィックスプロセッシングユニット)と呼ばれる並列ハードウェア上にて実行する.また,マイクからの音響信号に対して,音声区間検出と音声到来方向推定を組み合わせた話者ダイアリゼーションを行う.さらに分析の結果を三次元的に可視化する方法も提案する.画像と音響の処理にそれぞれ一台のPCを用い,5人会話に対して平均27.1[frame/sec]にて動作することを確認した.
- 2008-11-20
著者
-
大塚 和弘
日本電信電話株式会社コミュニケーション科学基礎研究所
-
大和 淳司
日本電信電話株式会社コミュニケーション科学基礎研究所
-
荒木 章子
日本電信電話株式会社NTTコミュニケーション科学基礎研究所
-
石塚 健太郎
日本電信電話株式会社NTTコミュニケーション科学基礎研究所
-
藤本 雅清
日本電信電話株式会社NTTコミュニケーション科学基礎研究所
-
大塚 和弘
NTTコミュニケーション科学基礎研究所
-
大塚 和弘
NTTサイバーソリューション研究所
-
大塚 和弘
NTTヒューマンインタフェース研究所
-
大和 淳司
日本電信電話(株)第三部門
-
藤本 雅清
NTTコミュニケーション科学基礎研究所
-
藤本 雅清
日本電信電話(株)nttコミュニケーション科学基礎研究所
-
Yamato Junji
Ntt Communication Science Laboratories Ntt Corp.
-
大塚 和弘
横浜国立大学工学部電子情報工学科
-
FUJIMOTO Masakiyo
the ATR Spoken Language Communication Research Laboratories
-
Fujimoto Masakiyo
Department Of Electronics And Informatics Faculty Of Science And Technology Ryukoku University
-
大塚 和弘
日本電信電話株式会社NTTコミュニケーション科学基礎研究所
-
大和 淳司
日本電信電話(株)NTTコミュニケーション科学基礎研究所
-
荒木 章子
日本電信電話株式会社 NTTコミュニケーション科学基礎研究所
関連論文
- グラフコストの逐次更新を用いた映像顕著領域の自動抽出(テーマセッション,映像ハンドリング技術とその応用)
- グラフコストの逐次更新を用いた映像顕著領域の自動抽出(テーマセッション,映像ハンドリング技術とその応用)
- グラフコストの逐次更新を用いた映像顕著領域の自動抽出(テーマセッション,映像ハンドリング技術とその応用)
- 視覚的注意の確率的モデル化のための動的マルコフ確率場(テーマセッション2,アンビエント環境知能)
- グラフコストの逐次更新を用いた映像顕著領域の自動抽出(画像映像解析,画像の認識・理解論文)
- メモリベースパーティクルフィルタ : 状態履歴に基づく事前分布予測を用いた頑健な対象追跡(画像映像解析,第12回画像の認識・理解シンポジウム推薦論文,画像の認識・理解論文)
- MCMC-based particle filterを用いた人間の映像注視行動の実時間推定(テーマセッション,映像ハンドリング技術とその応用)
- MCMC-based particle filterを用いた人間の映像注視行動の実時間推定(テーマセッション,映像ハンドリング技術とその応用)
- MCMC-based particle filterを用いた人間の映像注視行動の実時間推定(テーマセッション,映像ハンドリング技術とその応用)
- 多人数会話シーン分析に向けた実時間マルチモーダルシステムの構築 : マルチモーダル全方位センサを用いた顔方向追跡と話者ダイアリゼーションの統合(テーマセッション2,アンビエント環境知能)
- 多人数会話シーン分析に向けた実時間マルチモーダルシステムの構築 : マルチモーダル全方位センサを用いた顔方向追跡と話者ダイアリゼーションの統合(テーマ関連セッション2)
- 音響情報と映像情報の統合による多人数会話における話者決定技術(音響処理・話者同定,第10回音声言語シンポジウム)
- 色を忠実に再現する高精細分光画像撮影技術 (特集 「見る・見せる」技術の最先端)
- 周波数領域ブラインド音源分離のための極座標表示に基づく活性化関数
- 頭部姿勢の変動に頑健な表情認識技術--表情から人の気持ちを読み取ることを目指して
- パーティクルフィルタとこう配法の組合せによる頭部姿勢と表情の同時推定(メディア処理,画像の認識・理解論文)
- 視覚的注意の確率的モデル化のための動的マルコフ確率場(テーマ関連セッション2)
- 動的ベイジアンネットワークを用いた視覚的注意の確率モデル(一般,膨大なデータから学ぶもの)
- 複数人会話における非言語インタラクション構造の推定--誰が誰にどのように反応しているか?
- 表情認識のための変動輝度テンプレートとその頭部姿勢変動に対する頑健性の一検討(テーマ関連セッション3)
- 視覚的注意の確率的モデル化のための動的マルコフ確率場(テーマセッション2,アンビエント環境知能)
- 動的ベイジアンネットワークを用いた視覚的注意の確率モデル(一般,膨大なデータから学ぶもの)
- 高速メディア探索 (特集 コミュニケーション環境の未来に向けた研究最前線)
- 招待講演 時間周波数マスクによる実環境でのブラインド音源分離 (応用音響)
- B-8-59 停電時上り音声通信を実現する光アクセス方式の提案(B-8.通信方式,一般セッション)
- 動作認識のための状態遷移モデル : HMMの高度化と非HMM手法の成長(「時系列データの認識 : HMMを越えて」)
- 多人数会話シーン分析に向けた実時間マルチモーダルシステムの構築 : マルチモーダル全方位センサを用いた顔方向追跡と話者ダイアリゼーションの統合(テーマセッション2,アンビエント環境知能)
- CVPR2009報告 (パターン認識・メディア理解)
- 適応的領域分割と閾値推定を用いた高速テンプレートマッチング(一般セッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- 適応的領域分割と闘値推定を用いた高速テンプレートマッチング(一般セッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- 音源分離技術の最新動向
- 複数人物の対面会話を対象としたマルコフ切替えモデルに基づく会話構造の確率的推論(ヒューマンインタフェース基礎)
- ポスター会話に対する発話区間検出と話者識別の検討(コミュニケーション・対話,第9回音声言語シンポジウム)
- ポスター会話に対する発話区間検出と話者識別の検討(コミュニケーション・対話,第9回音声言語シンポジウム)
- ポスター会話に対する発話区間検出と話者識別の検討(コミュニケーション・対話,第9回音声言語シンポジウム)
- 重み付き特徴点照合に基づく高速画像検索(テーマセッション: 時系列・大規模メディア処理, データ工学とメディア理解との融合)
- 重み付き特徴点照合に基づく高速画像検索(テーマセッション: 時系列・大規模メディア処理, データ工学とメディア理解との融合)
- CVPR2009報告
- B-8-11 停電時上り音声通信光アクセス方式の実現技術の検討(B-8.通信方式,一般セッション)
- 人と機械のインタラクションにおける画像技術 (メディア工学)
- 音声区間推定と時間周波数領域方向推定の統合による会議音声話者識別(音響信号処理/一般)
- AS-4-5 音声のスパース性を用いたUnderdetermined音源分離(AS-4. ICAを超える,シンポジウムセッション)
- A-10-6 周波数領域ICAにおける初期値の短時間データからの学習(A-10. 応用音響,一般セッション)
- A-10-9 多くの背景音からの主要音源のブラインド抽出(A-10.応用音響,基礎・境界)
- A-10-8 3次元マイクロホンアレイを用いた多音源ブラインド分離(A-10.応用音響,基礎・境界)
- A-10-7 観測ベクトルのクラスタリングによるブラインド音源分離(A-10.応用音響,基礎・境界)
- 畳込み混合のブラインド音源分離(独立成分分析とその応用特集号)
- ブラインド信号処理技術の研究動向(マイクロホンアレー・ブラインド分離・音源位置推定/一般)
- [招待論文]独立成分分析に基づくブラインド音源分離(マイクロホンアレー・ブラインド分離・音源位置推定及び一般)
- 移動音源の低遅延実時間ブラインド分離
- 周波数領域ブラインド音源分離における permutation 問題の頑健な解法
- 周波数領域ICAと時間遅れスペクトル減算による残響下での実時間ブラインド音源分離
- 間隔の異なる複数のマイクペアによるブラインド音源分離
- 非定常スペクトルサブトラクションによる音源分離後の残留雑音除去
- パーティクルフィルタとMCMC : そのコミュニケーション科学への応用(若手研究者のための講演会)
- ペット型ロボットのための全身触覚インタフェースによる人の触行動識別
- ペット型ロボットのための全身触覚インタフェースによる人の触行動識別
- 圧力分布センサによる人の触行動の実時間識別とその個人適応手法
- 会話シーン分析のための音声映像技術 (特集 コミュニケーション科学の融合研究における新潮流)
- 音響情報と映像情報の統合による多人数会話における話者決定技術(音響処理・話者同定,第10回音声言語シンポジウム)
- 音響情報と映像情報の統合による多人数会話における話者決定技術(音響処理・話者同定,第10回音声言語シンポジウム)
- 変動輝度テンプレートによる頭部姿勢と表情の同時推定
- ICMI 2007参加報告
- コミュニケーションを理解する音声・映像技術 (特集 我が国基礎・基盤研究の現状--NTTコミュニケーション科学基礎研究所)
- 表情認識のための変動輝度テンプレートとその頭部姿勢変動に対する頑健性の一検討(テーマ関連セッション3,顔・ジェスチャの認識・理解)
- 表情認識のための変動輝度テンプレートとその頭部姿勢変動に対する頑健性の一検討(テーマ関連セッション3,顔・ジェスチャの認識・理解)
- Robust Character Recognition Using Adaptive Feature Extraction Method
- Basic Design of Video Communication System Enabling Users to Move Around in Shared Space
- H-036 Subtle Facial Expression Recognition Based on Expression Category-dependent Motion Magnification
- LH-003 変動輝度テンプレートを用いた頭部姿勢変動に頑健な確率的表情認識手法(画像認識・メディア理解)
- 非言語行動の観測に基づく複数人物の会話シーン分析 招待講演
- 姿勢とアピアランスの変化に頑健な対象追跡を実現するアピアランス統合メモリベースパーティクルフィルタ (画像の認識・理解論文特集)
- 対面の複数人対話を撮影対象とした対話参加者の視線に基づく映像切替え方法とその効果(グループウェア)
- 複数人対話シーンの映像編集のための対話参加者の視線に基づく映像切り替え方法とその効果(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- A-14-6 対話参加者の視線に基づく映像切り替え方法とその効果(A-14. ヒューマンコミュニケーション基礎)
- 視線の機能に着目した映像切り替え規則とその効果 : 人に分かりやすい映像生成を目指して(ヒューマンコミュニケーション及び一般)(ヒューマンコミュニケーショングループ(HCG)大会)
- A-15-9 視線情報に基づく映像切り替え規則とその評価
- 京都祇園祭における船鉾懸装品の超高精細分光画像撮影(MR/ARの実用化に向けたCV/PR技術の課題と展望)
- 姿勢とアピアランスの変化に頑健な対象追跡を実現するアピアランス統合メモリベースパーティクルフィルタ(画像・映像解析,第13回画像の認識・理解シンポジウム推薦論文,画像の認識・理解論文)
- 身体尺から見直すタッチパネル・インタフェース--ハードウェアの模倣からソフトウェアの柔軟さ (マルチメディア情報ハイディング・エンリッチメント)
- 身体尺から見直すタッチパネル・インタフェース--ハードウェアの模倣からソフトウェアの柔軟さ (画像工学)
- 身体尺から見直すタッチパネル・インタフェース--ハードウェアの模倣からソフトウェアの柔軟さ (ライフインテリジェンスとオフィス情報システム)
- 手話会話における修復組織の分析(一般,『コミュニケーションの身体を捉える』及び一般)
- 京都祇園祭における船鉾懸装品の超高精細分光画像撮影(MR/ARの実用化に向けたCV/PR技術の課題と展望)
- 複数人対話を対象とした表情と視線に基づく共感/反感の推定モデルとその評価--対話者間に生まれる感情をいかに理解するか? (ヒューマンコミュニケーション基礎)
- The Subjective Evaluation Experiments on an Automatic Video Editing System Using Vision-based Head Tracking for Multiparty Conversations (特集:日常活動を変革する情報システム技術)
- 多視点観測に基づく複数物体の相互オクルージョン解析と逐次状態推定
- 多視点観測に基づく複数物体の相互オクルージョン解析と逐次状態推定
- 複数人対話を対象とした表情と視線に基づく共感/反感の推定モデルとその評価 : 対話者間に生まれる感情をいかに理解するか?(顔とコミュニケーション)
- 身体尺から見直すタッチパネル・インタフェース : ハードウェアの模倣からソフトウェアの柔軟さ (メディア工学)
- 招待講演 複数人会話シーン分析の研究と今後の展望 (音声)
- 動くディスプレイで会話が伝わる (特集 情報と人間を結ぶコミュニケーション科学)
- ビデオ通信環境における対人印象に関する探索的研究 : 当事者評価と傍観者評価の比較(コミュニケーションの心理及び一般)
- 手話会話における表現モダリティの継続性(相互作用のマルチモーダル分析)
- ビデオ通信環境における対人印象の規定因に関する探索的実験研究 : 第三者に対する映像呈示と音声呈示の比較(コミュニケーション(技術),「身体,あそび,コミュニケーション」及びコミュニケーション一般)
- MM-Space:頭部運動の物理的補強表現に基づく会話場再構成
- 複数人会話シーン分析の研究と今後の展望(オーガナイズドセッション:マルチモーダル情報によるコミュニケーション環境理解,認識,理解,対話,一般)
- 正確な色再現を目的とした2眼ステレオ式6バンドビデオシステム(テーマセッション,実時間処理実空間センシングと環境理解)
- 視線一致範囲測定に関する探索的検討 : 疎らな実験データの解析(『場のデザイン』及びコミュニケーション一般)
- アイコンタクト知覚範囲の性差に関する探索的検討 : 社交性不安およびアイコンタクト相手の性別の影響(顔、表情の認知・理解,コミュニケーションの心理及び一般)