対面の複数人対話を撮影対象とした対話参加者の視線に基づく映像切替え方法とその効果(グループウェア)
スポンサーリンク
概要
- 論文の詳細を見る
本論文では, 会議のような対面で行われる複数人の対話を撮影対象として, 映像を介しその対話内容を対話に参加していない人に分かりやすく伝えるために, 対話参加者の視線に基づく映像切替え方法を提案する.提案方法は, 最も多くの対話参加者が視線を向けている人物の映像を選択し, 時間的に画面を切り替える方法である.我々は, 視聴者が映像を介し対話内容を理解するために必要な情報として, 誰が誰に話しかけているかという「対話の方向性」と話し手の話しかけに対する「相手の反応」の2つの要素が重要であると考え, その観点から提案方法の有効性を検証する.まず, 提案方法によりどのような映像が生成されるのかを確認するために, 3人から5人の複数人対話を収録し, 最も多くの対話参加者が視線を向けている人物の推移を分析する.その結果から, 提案方法により「話し手」と「相手」の映像が交互に選択・提示されることを示し, 映像を通じて「対話の方向性」, および, 「相手の反応」が伝達される可能性を確認する.次に, 提案方法により編集された映像を実際に視聴した際にこれらの情報が伝達されることを検証するために, 音声に基づく映像切替えやマルチ画面などの映像表現を比較対象として, 被験者実験により評価を行う.その結果から, 提案方法により編集された映像が, 従来の映像表現と比べ, 「対話の方向性」と「相手の反応」をより正確かつ分かりやすく視聴者に伝達できることを示す.
- 一般社団法人情報処理学会の論文
- 2005-07-15
著者
-
大塚 和弘
日本電信電話株式会社コミュニケーション科学基礎研究所
-
武川 直樹
東京電機大学 情報環境学部
-
大塚 和弘
NTTサイバーソリューション研究所
-
大塚 和弘
NTTヒューマンインタフェース研究所
-
竹前 嘉修
NTTサイバーソリューション研究所
-
大塚 和弘
横浜国立大学工学部電子情報工学科
-
武川 直樹
東京電機大学
-
竹前 嘉修
日本電信電話株式会社NTTコミュニケーション科学基礎研究所
-
大塚 和弘
日本電信電話株式会社NTTコミュニケーション科学基礎研究所
関連論文
- メモリベースパーティクルフィルタ : 状態履歴に基づく事前分布予測を用いた頑健な対象追跡(画像映像解析,第12回画像の認識・理解シンポジウム推薦論文,画像の認識・理解論文)
- 多人数会話シーン分析に向けた実時間マルチモーダルシステムの構築 : マルチモーダル全方位センサを用いた顔方向追跡と話者ダイアリゼーションの統合(テーマセッション2,アンビエント環境知能)
- 多人数会話シーン分析に向けた実時間マルチモーダルシステムの構築 : マルチモーダル全方位センサを用いた顔方向追跡と話者ダイアリゼーションの統合(テーマ関連セッション2)
- 3人会話の話者交替における発話志向態度分析 : 参与者の発話志向の「場」がつくる話者交替(顔とコミュニケーション(フォーラム顔学2009共済オーガナイズドセッション))
- 3人会話の話者交替における発話志向態度分析 : 参与者の発話志向の「場」がつくる話者交替(顔とコミュニケーション)
- 音響情報と映像情報の統合による多人数会話における話者決定技術(音響処理・話者同定,第10回音声言語シンポジウム)
- 創作した顔アイコンを見たときのfMRI脳計測 : コミュニケーションにおける抽象顔の効果
- fMRIによる顔文字と文を読むときの脳活動計測 : 言語・非言語コミュニケーションにおける脳活動を探る
- fMRIを用いた顔文字に対する脳活動計測 : 電子的コミュニケーションにおける顔の効果
- 4.食べる(生活に役立つメディア処理-料理行動を科学する-)
- 脳機能解析を用いた対人コミュニケーションにおけるメッセージの効果の検討
- 顔文字に対する脳活動
- 局地・短時間気象予測システム:My Weather
- 漢字による感情表現を付加した文を読むときの脳活動 : 機能的MRIを用いた(笑)(涙)の脳活動計測
- 似顔絵の面白さ『じわじわ』,『Aha!』を感じる過程の心理分析と脳活動分析(HCGシンポジウム)
- 創作した抽象顔アイコンを見たときの脳活動 : コミュニケーションにおける抽象顔の効果
- 3人会話の視線と発話マインド分析 : 話者と聞き手の発話マインドは話者交替に際しどう調整されるか?(視線とコミュニケーション,HCGシンポジウム)
- 3人のテーブルトークにおける視線,食事動作,発話交替の分析 : 会話と食事動作はどう制御されるか?(言語・非言語コミュニケーション〜言葉と身体の相互作用〜)
- 頭部姿勢の変動に頑健な表情認識技術--表情から人の気持ちを読み取ることを目指して
- パーティクルフィルタとこう配法の組合せによる頭部姿勢と表情の同時推定(メディア処理,画像の認識・理解論文)
- 複数人会話における非言語インタラクション構造の推定--誰が誰にどのように反応しているか?
- 表情認識のための変動輝度テンプレートとその頭部姿勢変動に対する頑健性の一検討(テーマ関連セッション3)
- 気象レーダ画像を対象とした検索に基づく映像予測の検討
- 時空間中の運動軌跡に基づくテンポラルテクスチャー解析 (画像の認識・理解)
- 局地・短時間気象予報システム : My Weather
- D-11-140 映像予測のための検索類似尺度の検討
- 時空間中の運動軌跡に基づくオプティカルフローの推定
- ベクトル量子化によるマルチスペクトル画像検索(画像処理,画像パターン認識)
- 高速メディア探索 (特集 コミュニケーション環境の未来に向けた研究最前線)
- 局地・短時間気象予測システム:My Weather
- 社会科学のアプローチに基づくコミュニケーションロボット・擬人化エージェントの設計に向けて : 人間観察によってデザインされたロボットは「不気味の谷」を渡れるか?
- 多人数エージェントの発話交替により現れる雰囲気の分析 : 気まずい会話・仲良し会話(コミュニケーション支援,一般)
- 多人数エージェントの発話交替により現れる雰囲気の分析 : 気まずい会話・仲良し会話(コミュニケーション支援,一般)
- 多人数会話シーン分析に向けた実時間マルチモーダルシステムの構築 : マルチモーダル全方位センサを用いた顔方向追跡と話者ダイアリゼーションの統合(テーマセッション2,アンビエント環境知能)
- ユーザ行動を誘導するための擬人化エージェントの対人印象操作・非言語行動表出モデル(ヴァーバル・ノンヴァーバル・コミュニケーション,ヒューマンコミュニケーション〜人間中心の情報環境構築のための要素技術〜論文)
- CVPR2009報告 (パターン認識・メディア理解)
- fMRIによるHAIのコミュニケーション設計(深化するHAI:ヒューマンエージェントインタラクション)
- 人と擬人化エージェントのインタラクション : 脳活動からみた分析(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- 複数人物の対面会話を対象としたマルコフ切替えモデルに基づく会話構造の確率的推論(ヒューマンインタフェース基礎)
- D-12-47 多重解像度表現を利用した画像の特徴量抽出(D-12. パターン認識・メディア理解, 情報・システム2)
- オクルージョン推定に基づく領域分割ベースステレオビジョン : 領域統合による奥行きの傾斜の推定(一般セッション3(コンピュータビジョン),文字・文書の認識・理解)
- ディジタルカメラのズーム機能を利用した文字認識
- 発話志向態度の表出・理解と発話調整に基づく話者交替分析 : 3人会話における「話したい/聞きたい」態度表出の効用(言語コミュニケーションとそのフィールド)
- 重み付き特徴点照合に基づく高速画像検索(テーマセッション: 時系列・大規模メディア処理, データ工学とメディア理解との融合)
- 重み付き特徴点照合に基づく高速画像検索(テーマセッション: 時系列・大規模メディア処理, データ工学とメディア理解との融合)
- 視線と表情を持つ擬人化エージェントのインタラクションによる印象変化(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- CVPR2009報告
- パーティクルフィルタとMCMC : そのコミュニケーション科学への応用(若手研究者のための講演会)
- 会話シーン分析のための音声映像技術 (特集 コミュニケーション科学の融合研究における新潮流)
- 音響情報と映像情報の統合による多人数会話における話者決定技術(音響処理・話者同定,第10回音声言語シンポジウム)
- 音響情報と映像情報の統合による多人数会話における話者決定技術(音響処理・話者同定,第10回音声言語シンポジウム)
- 変動輝度テンプレートによる頭部姿勢と表情の同時推定
- ICMI 2007参加報告
- コミュニケーションを理解する音声・映像技術 (特集 我が国基礎・基盤研究の現状--NTTコミュニケーション科学基礎研究所)
- 表情認識のための変動輝度テンプレートとその頭部姿勢変動に対する頑健性の一検討(テーマ関連セッション3,顔・ジェスチャの認識・理解)
- 表情認識のための変動輝度テンプレートとその頭部姿勢変動に対する頑健性の一検討(テーマ関連セッション3,顔・ジェスチャの認識・理解)
- 幼児の描く顔の形状と色の分析 : 「顔だけ」から「楽しい顔」へ(コミュニケーションにおける「顔」,HCGシンポジウム)
- 多人数映像会話における話し手の身振りとアクティビティの関係 : 視線一致と不一致環境により会話の質はどのように変わるか?(マルチモーダルコミュニケーション,HCGシンポジウム)
- ○△□の語らい : エージェントの形状と動作の抽象的表現(セッション5,新領域創造インタラクション)
- 視線虚一致映像装置を用いた発話交替の行動分析(マルチメディア仮想環境基礎,及び一般,HCGシンポジウム)
- ヒューマン・コンピュータ・インタラクション中の脳活動計測(一般講演1A)
- 3次元結晶格子モデルを用いた結晶粒界の抽出
- 結晶構造の分析に適用可能な三次元ウェーブレットの構築(ディジタル信号処理)
- ITSのための局地気象予測
- 局所降水予測に向けた類似気象パターン検索
- 時空間中の運動軌跡に基づくテンポラルテクスチャーの特徴抽出
- ニューロセグメント法による短時間降水予測精度の改善
- 時空間画像解析によるレーダエコーパターンの特徴抽出と分類
- 時空間中の運動軌跡に基づく密なオプティカルフローの推定
- ニューロ気象予測システムMy Weather
- 時空間速度場の分割に基づく降水予測
- LH-003 変動輝度テンプレートを用いた頭部姿勢変動に頑健な確率的表情認識手法(画像認識・メディア理解)
- 方向不整合のある多人数映像会話システムは発話行動に影響を与えるか? : 視線による発話交替のビデオ分析(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- 複数人の映像会話における空間の整合性と人の補償行動 : ノンバーバル情報のコミュニケーションにおける役割
- 複数人の映像会話における空間の整合性と人の補償行動 : ノンバーバル情報のコミュニケーションにおける役割(顔とコミュニケーション及び一般)
- A-14-7 視線に基づく映像対話の分析 : 行動分析的アプローチ(A-14. ヒューマンコミュニケーション基礎, 基礎・境界)
- 非言語行動の観測に基づく複数人物の会話シーン分析 招待講演
- 姿勢とアピアランスの変化に頑健な対象追跡を実現するアピアランス統合メモリベースパーティクルフィルタ (画像の認識・理解論文特集)
- 対面の複数人対話を撮影対象とした対話参加者の視線に基づく映像切替え方法とその効果(グループウェア)
- 複数人対話シーンの映像編集のための対話参加者の視線に基づく映像切り替え方法とその効果(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- A-14-6 対話参加者の視線に基づく映像切り替え方法とその効果(A-14. ヒューマンコミュニケーション基礎)
- 視線の機能に着目した映像切り替え規則とその効果 : 人に分かりやすい映像生成を目指して(ヒューマンコミュニケーション及び一般)(ヒューマンコミュニケーショングループ(HCG)大会)
- A-15-9 視線情報に基づく映像切り替え規則とその評価
- 姿勢とアピアランスの変化に頑健な対象追跡を実現するアピアランス統合メモリベースパーティクルフィルタ(画像・映像解析,第13回画像の認識・理解シンポジウム推薦論文,画像の認識・理解論文)
- 手話会話における修復組織の分析(一般,『コミュニケーションの身体を捉える』及び一般)
- 複数人対話を対象とした表情と視線に基づく共感/反感の推定モデルとその評価--対話者間に生まれる感情をいかに理解するか? (ヒューマンコミュニケーション基礎)
- 多視点観測に基づく複数物体の相互オクルージョン解析と逐次状態推定
- 多視点観測に基づく複数物体の相互オクルージョン解析と逐次状態推定
- 複数人対話を対象とした表情と視線に基づく共感/反感の推定モデルとその評価 : 対話者間に生まれる感情をいかに理解するか?(顔とコミュニケーション)
- 招待講演 複数人会話シーン分析の研究と今後の展望 (音声)
- 動くディスプレイで会話が伝わる (特集 情報と人間を結ぶコミュニケーション科学)
- ビデオ通信環境における対人印象に関する探索的研究 : 当事者評価と傍観者評価の比較(コミュニケーションの心理及び一般)
- 手話会話における表現モダリティの継続性(相互作用のマルチモーダル分析)
- ビデオ通信環境における対人印象の規定因に関する探索的実験研究 : 第三者に対する映像呈示と音声呈示の比較(コミュニケーション(技術),「身体,あそび,コミュニケーション」及びコミュニケーション一般)
- MM-Space:頭部運動の物理的補強表現に基づく会話場再構成
- 複数人物の対面会話を対象としたマルコフ切替えモデルに基づく会話構造の確率的推論(ヒューマンインタフェース基礎)
- 複数人会話シーン分析の研究と今後の展望(オーガナイズドセッション:マルチモーダル情報によるコミュニケーション環境理解,認識,理解,対話,一般)
- 視線一致範囲測定に関する探索的検討 : 疎らな実験データの解析(『場のデザイン』及びコミュニケーション一般)
- アイコンタクト知覚範囲の性差に関する探索的検討 : 社交性不安およびアイコンタクト相手の性別の影響(顔、表情の認知・理解,コミュニケーションの心理及び一般)
- Speakership に着目した共食参与者の戦略的な発話と摂食の行動分析