音解析による映像インデクシング
スポンサーリンク
概要
- 論文の詳細を見る
近年では, ネットワークの発達によって大量の映像を効率良く扱う必要性が生じている. 映像ハンドリングの分野では, 映像の特徴量に基づいた知的映像インタフェースを実現することで映像の検索・編集・加工に伴うミクロからマクロまでの操作性の向上や内容把握の支援等を目指している. 映像に含まれる情報の中でもとりわけ音情報は,「人が喋っている」,「雑踏の中である」といった映像の中で起きた事柄や状況,「BGMが流れている」ことから推測される登場人物の心理状態を表現した制作者の意図等を良く反映しており, その特徴量から直接事柄や状況を推定することも可能であることから, 筆者らは音情報に基づく映像解析とその応用に関する研究を進めている. 音情報を用いた研究には, 音声認識による単語単位のミクロな情報を得るものが多い. 本研究では, 映像の分類や識別等に適用可能なマクロな情報を得るアプローチとして音源の3要素;作品の情緒を決定する「音楽効果」, 論理的な内容を伝える「ことば」, 場面の雰囲気やリアリティを増す「音響効果」を検出することを目的とし, 音楽と音声が重なった場合でも各々を独立に検出する方法と拍手を検出する方法を提案する. 拍手は映像シーンの状況を推測する手がかりとなり, 特定の映像で観測されるため, 音響効果の中でも有用な情報の一つである. また, 本手法をテレビ映像に適用した場合の検出結果を示す.
- 社団法人電子情報通信学会の論文
- 1997-03-06
著者
-
外村 佳伸
NTTヒューマンインターフェース研究所
-
南 憲一
日本電信電話株式会社nttサイバーソリューション研究所
-
阿久津 明人
日本電信電話株式会社NTTサイバーソリューション研究所
-
阿久津 明人
NTT サイバーソリューション研究所
-
阿久津 明人
NTTヒューマンインタフェース研究所
-
南 憲一
NTTヒューマンインタフェース研究所
-
外村 佳伸
Nttヒューマンインタフェース研究所
関連論文
- 手首装着型ハンドセットWhisper (知能情報メディア論文特集)
- "指釦" : 手首装着型コマンド入力機構 (ヒューマンインタフェースとインタラクション)
- 常装着型インタフェースとWireless FingeRing
- Wireless FingeRing:人体を信号経路に用いた常装着型キーボード(次世代ヒューマンインタフェース・インタラクション)
- ウェアラブル・コンピュータの世界 : ISWC'97 & MIT "WEARABLES" Symposium
- ウェアラブル・コンピュータの世界 : ISWC'97&MIT "WEARABLES" Symposium
- ウェアラブル・コンピュータの世界 : ISWC'97&MIT "WEARABLES" Symposium
- ウェアラブル・コンピュータの世界 : ISWC'97 & MIT "WEARABLES" Symposium
- ウェアラブル・コンピュータの世界 : ISWC'97&MIT "WEARABLES" Symposium
- ウェアラブル・コンピュータの世界 : ISWC'97&MIT "WEARABLES" Symposium
- 気になるシーンを見逃さないライブ中継システムLiveWatchの構築(画像処理, 画像パターン認識)
- LiveWatch : インタラクティブライブ中継システム
- メディアシームレスな個人取得情報管理のためのメディア連携方式
- A-16-16 LiveWatchCreator : ライブアプリケーションを作成するオーサリングシステム
- D-11-46 関連情報を同期配信するMPEG2映像配信システム
- A-16-10 ライブアプリケーションを作成するオーサリング手法の提案
- PRMU2000-30 見たいシーンを見逃さないライブ中継LinveWatch
- LiveWatch:見たいシーンを見逃さないライブ中継
- TEAM Digital Commons(コンテンツ流通と著作権管理)
- 幼児を対象としたユーザーインタフェースデザインについて
- A-16-30 SceneMarket : 映像素材流通のための協調アノテーション
- SceneCabinet:映像解析技術を統合した映像インデクシングシステム
- 映像コーパスの構築と分析 (知能情報メディア論文特集)
- ISDB-Tmm におけるコンテンツ保護とアクセス制御技術
- ISDB-Tmm におけるメタデータ技術
- 子供とコンピュータを結ぶポーターの役割に関する一考察
- メディアシームレスな個人取得情報管理のためのメディア連携方式
- メディアシームレスな個人取得情報管理のためのメディア連携方式
- TEAM Digital Commons(コンテンツ流通と著作権管理)
- メタデータ展開のためのキャリングビークル (特集 メタデータ応用サービスおよび関連技術の動向)
- 表示に制限があるFAXのメニュー方式の検討
- 7)通信サービス管理向けネットワーク表示方法(ネットワーク映像メディア研究会)
- 通信サービス管理向けネットワーク表示方法
- 通信サービス管理向けネットワーク表示方法
- オペレーションシステムにおけるネットワーク表示方法
- 来訪者特徴の推定を利用した「場所メタデータ」自動生成(不均質なライフログからのデータマイニング及び一般)
- 幼児を対象としたユーザーインタフェースデザインについて
- Infotier : 携帯情報端末に適した透過表示型ユーザインタフェースの提案
- ハイパーインタラクティブサービスシステム : システムおよび「インタラクティブ・シネマ」試行サービス実験概要(放送,インタネット,モバイルマルチメディアおよび一般)
- 3Q-08 操作回数保証型検索方法の提案
- 3Q-8 操作回数保証型検索方法の提案
- A-16-39 全文検索を利用したダイナミック電子書架InterShelf
- インターネット情報検索環境を背景としたダイナミック生成型CyberBook
- 携帯情報端末におけるマルチメディア情報の表現方法
- Valbum : アルバム風絵コンテインタフェースを用いた映像編集視聴システム
- MPEG符号化映像からの高速テロップ領域検出法(動画像処理論文特集)
- MPEG符号化映像ショットチェンジ検出のための動き補償解析ハイブリッド法の提案(動画像処理論文特集)
- 2) MPEG符号化映像データからのシーンチェンジ検出方法の検討 (ネットワーク映像メディア研究会)
- MPEG符号化映像データからのシーンチェンジ検出方法の検討
- MPEG符号化映像データからのシーンチェンジ検出方法の検討
- MPEG符号化映像データからのシーンチェンジ検出方法の検討
- MPEG符号化映像データからのシーンチェンジ検出方法の検討
- MPEG映像データからのカット点検出に関する検討
- MPEG2映像からのカット点とテロップの高能率検出法
- MPEG2映像からのカット点検出法
- Coaster : 映像の時空間直観的操作による可変速再生方法とその応用 (ヒューマンインタフェースとインタラクション)
- Coaster : 映像の連続的ダイレクトマニピュレーション
- Coaster : 折れ線スライダによる時空間メディアインタフェース
- 映像コーパスの分析に基づく大量映像ハンドリング
- 映像コーパスの分析に基づく大量映像ハンドリング
- 自動音楽検出・提示システム"楽覧"の提案とその一検討
- 音情報を用いた映像インデクシングとその応用
- 音解析による映像インデクシング
- 大量映像に対する効率的アクセスインタフェース
- 1)音情報を用いたビデオ・ブラウジング・インタフェース([情報ディスプレイ研究会 視聴覚技術研究会 画像処理・コンピュータビジョン研究会 画像通信システム研究会 画像応用研究会]合同)
- 音情報を用いたビデオブラウザ
- 10)図形を含むファクシミリ画像編集処理方式の検討([画像通信システム研究会画像処理・画像応用研究会]合同)
- 10)図形出力機能を持つ高機能ファクシミリメディア変換装置(画像通信システム研究会(第78回))
- ForeScope : 階層化コンテンツの閲覧支援システム
- 突出検出フィルタを用いた映像カット点検出法
- 2)映像カット自動検出方式の検討(画像通信システム研究会)
- 映像カット自動検出方式の検討 : 画像通信システム
- 5E-4 ライフスタイルと地理的特徴との関係を利用した場所メタデータ自動生成(ユビキタス,一般セッション,ネットワーク,情報処理学会創立50周年記念)
- 13.画像通信システム(テレビジョン年報)
- BookWare : 本でインターネット情報を読む環境
- BookWare:本でインターネット情報を読む環境
- BookWare : 本と本棚メタファによるマルチメディア情報ハンドリング
- VisionMark : 情報伝達メディアとインターネットの協調に向けたメディア連携方式(人間・機械系,マルチメディア処理)
- K-54 iTray : 情報伝達メディアに連携されたWebコンテンツの操作インタフェース(ヒューマンインタフェース(HI)3,K.ヒューマンコミュニケーション&インタラクション)
- コンテンツ取得履歴情報を用いたコンテンツ分類手法(マルチメディア通信とQoS, VoIP, ストリーミング, 一般)
- 映像解析に基づく新しいマルチメディアインターフェース
- 映像解析に基づく新しいマルチメディアインタフェース
- 投影法を用いた映像の解析方法と映像ハンドリングへの応用
- 投影法を用いた映像の解析とビデオハンドリングへの応用 : 映像表現
- 動き情報を用いた映像インターフェースの検討 : 演出技術による映像表現
- 2)時空間画像を用いたカメラ操作情報抽出方法の検討(〔情報ディスプレイ研究会 無線・光伝送研究会 画像通信システム研究会 画像応用研究会〕合同)
- 時空間画像を用いたカメラ操作情報抽出方法の検討 : 情報ディスプレイ : 無線・光伝送 : 画像通信システム : 画像応用
- 時空間画像の勾配を使ったカット検出法
- 4)投影法を用いた映像の解析とビデオハンドリングへの応用(映像表現研究会)
- 6)構造化文書を扱うファクシミリメディア変換(〔テレビジョン電子装置研究会(第144回)面像表示研究会(第107回)〕合同)
- ハイパーメディアにおける文脈的な検索法
- 複数映像の空間統合による映像アクセスインタフェース ( ビデオとハイパーメディアのインターフェース、および一般)
- 映像ショット切換え検出法とその映像アクセスインタフェースへの応用
- サイバースペースの展望 : 情報ディスプレイ,視聴覚技術,映像表現,画像処理・コンピュータビジョン,画像通信システム,画像応用
- 次世代コミュニケーション環境とマルチメディア : パネル討論 : 21世紀のマルチメディアの行方 : テレビがテレビでなくなる日 : 情報ディスプレイ : コンシューマエレクトロニクス : 視聴覚技術 : 映像表現 : 画像処理・コンピュータビジョン : 画像通信システム : 画像応用 : インテリジェント映像メディア
- 次世代コミュニケーション環境とマルチメディア
- 11)次世代コミュニケーション環境とマルチメディア([情報ディスプレイ研究会 コンシューマエレクトロニクス研究会 視聴覚技術研究会 映像表現研究会 画像処理・コンピュータビジョン研究会 画像通信システム研究会 画像応用研究会 インテリジェント映像メディア専門研究部会]合同)
- 音情報を用いたビデオ・ブラウジング・インタフェース
- 情報発信者を利用した情報検索に関する一検討
- 情報発信者を利用した情報検索に関する一検討