マルチモーダル・マルチフレームな手法を用いたTRECVIDセマンティックインデクシング(テーマセッション,映像処理とTRECVID)
スポンサーリンク
概要
- 論文の詳細を見る
本稿では,我々の提案するマルチモーダル・マルチフレームなセマンティックインデクシング手法の,TRECVID 2010ワークショップにおける評価結果を報告する.セマンティックインデクシングの目的は,映像の中から「人が歌っている」・「飛行機が飛んでいる」など,意味を特った場面を検出することであり,様々な検出対象に対応できる汎用的なシステムが求められる.提案手法は,単純かつ高精度な検出器を目指し,画像特徴のSIFT特徴と音響特徴のMFCC特徴をGaussian Mixture Model (GMM) supervectorによりモデル化したマルチモーダルな手法である.SIFT特徴をショット中の複数のフレームから抽出を行うことで検出精度の向上を図った.TRECVID 2010のデータセットで評価実験を行った結果,総合評価のMean Inferred Average Precisionは7.36%となった.
- 2011-02-10
著者
-
篠田 浩一
東京工業大学
-
篠田 浩一
東京工業大学大学院情報理工学研究科計算工学専攻
-
井上 中順
東京工業大学 情報理工学研究科 計算工学専攻
-
篠田 浩一
NEC情報通信メディア研究本部
-
上嶋 勇祐
東京工業大学情報工学科
-
上嶋 勇祐
東京工業大学大学院情報理工学研究科計算工学専攻
-
上嶋 勇祐
東京工業大学大学院 情報理工学研究科 計算工学専攻
関連論文
- シンボル列化したシーンの学習と2種のプレイ種相関度による野球放送映像プレイ種識別(画像・映像処理)
- SIFT混合ガウス分布と音響特徴を用いた映像からの高次特徴検出(テーマセッション関連,一般物体認識・画像特徴量)
- CHLAC特徴と隠れマルコフモデルを用いたGait認識(一般セッション2,複合現実感のためのパターン認識・理解)
- 統計的モデル選択によるシーン数の自動推定を用いた動画要約(一般セッション3,複合現実感のためのパターン認識・理解)
- 耐雑音音声認識のためのハフ変換による基本周波数情報抽出の高速化
- 音声とペン入力の同時入力に対する認識方式の検討(認識・理解・対話・一般)
- 数値列化したイベントシーンの学習と試合進行状況情報による制約条件を用いた野球映像イベント識別(パターン認識・メディア理解のための学習理論とその周辺)
- 基本周波数情報を用いたダイナミックベイジアンネットワークによる音声認識(聴覚・音声・言語とその障害,一般)
- 音声と手書き文字の同時入力インターフェース(マルチモーダル, コーパス・言語モデル)
- 弁別素性のグラフィカルモデリングによる音声認識
- 十分統計量を用いた教師なし話者適応における話者選択法(一般(ポスターセッション),第9回音声言語シンポジウム)
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出(一般,First Person Visionのための認識・理解)
- 音響モデル学習のための相対エントロピーを用いた学習文選択
- 音声と手書き文字の同時入力インターフェース(マルチモーダル, コーパス・言語モデル)
- ハーモニック・クラスタリングによる多重音の基本周波数推定アルゴリズム
- カテゴリ推定に基づく動的な言語モデル適応
- 大規模映像資源のためのマルチモーダル高次特徴検出(画像・映像処理)
- 十分統計量を用いた教師なし話者適応における話者選択法(一般(ポスターセッション),第9回音声言語シンポジウム)
- 十分統計量を用いた教師なし話者適応における話者選択法(一般(ポスターセッション),第9回音声言語シンポジウム)
- 音声認識における確率モデルの重み係数の自動推定(音声認識・識別,第9回音声言語シンポジウム)
- 音声認識における確率モデルの重み係数の自動推定(音声認識・識別,第9回音声言語シンポジウム)
- 音声認識における確率モデルの重み係数の自動推定(音声認識・識別,第9回音声言語シンポジウム)
- 音声認識のための高速最ゆう推定を用いた音道長正規化(音声情報処理 : 現状と将来技術論文特集)
- 音声認識のための高速最ゆう推定を用いた声道長正規化
- 音声認識のための高速最ゆう推定を用いた声道長正規化
- 音声認識のための高速最ゆう推定を用いた声道長正規化
- 会議音声認識のためのスペクトル減算に基づくオンライン音源分離(オーガナイズドセッション:スピーチエンハンスメント,音声,応用/電気音響,信号処理,及び一般)
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出(一般,First Person Visionのための認識・理解)
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出(一般,First Person Visionのための認識・理解)
- 木構造クラスタリングを用いた動画像からの高次特徴抽出(一般セッション1,文字・文書の認識・理解)
- D-14-7 手書き文字の準同期入力を併用した音声認識手法の予備検討(D-14. 音声・聴覚)
- 2. 統計的手法を用いた音声モデリングの高度化とその音声認識への応用(音声情報処理技術の最先端)
- SIFT混合ガウス分布を用いた一般物体認識のためのマルチカーネル学習(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- SIFT混合ガウス分布を用いた一般物体認識のためのマルチカーネル学習(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- 投球の次ショットに重きを置いたシーンのパターン化と離散隠れマルコフモデルを用いた野球放送映像の自動イベント分類
- 隠れマルコフモデルを用いた野球放送の自動的インデクシング(顔・ジェスチャ認識のためのパターン認識メディア理解,一般)
- 隠れマルコフモデルを用いた野球放送の自動的インデクシング(顔・ジェスチャ認識のためのパターン認識メディア理解,一般)
- 会議音声認識のためのスペクトル減算に基づくオンライン音源分離(オーガナイズドセッション:スピーチエンハンスメント,音声,応用/電気音響,信号処理,及び一般)
- 会議音声認識のためのスペクトル減算に基づくオンライン音源分離(オーガナイズドセッション:スピーチエンハンスメント,音声,応用/電気音響,信号処理,及び一般)
- 事後確率最大化手法を用いた言語モデルの学習
- マルチモーダル・マルチフレームな手法を用いたTRECVIDセマンティックインデクシング (パターン認識・メディア理解)
- 確率モデルによる多声楽曲MIDI演奏からの楽譜推定
- 雑音環境の変動を考慮した話者適応化
- パソコン向け音声認識ソフトウェア
- 音声認識のための複数の認識器を利用した能動学習(音響モデル,第11回音声言語シンポジウム)
- 音声認識のための複数の認識器を利用した能動学習
- 講義音声認識における講義スライド情報の利用(第8回音声言語シンポジウム)
- 東京工業大学篠田研究室
- 情報量基準を用いた音声認識単位の自動生成
- 記述長最小原理を用いた話者適応化
- パソコン向けソフトウェア連続音声認識システム
- 木構造化された確率分布を用いた話者適応化
- 講義音声認識における講義スライド情報の利用(Session-6 音声認識,第8回音声言語シンポジウム)
- ハイブリッドモデルに基づく単視点ビデオデータにおける人間の歩行動作のトラッキング
- ハイブリッドモデルに基づく単視点ビデオデータにおける人間の歩行動作のトラッキング (コンシューマエレクトロニクス・メディア工学)
- 講義音声認識における講義スライド情報の利用(Session-6 音声認識,第8回音声言語シンポジウム)
- 講義音声認識における講義スライド情報の利用
- 情報量基準を用いた状態クラスタリングによる音響モデルの作成
- 雑音下音声におけるスペクトル縮小の分析とその耐雑音音声認識への利用
- ビデオ画像における人間の歩行動作の3次元トラッキング(テーマセッション(1),人の検出・計測・認識)
- ビデオ画像における人間の歩行動作の3次元トラッキング(テーマセッション(1),人の検出・計測・認識)
- マルチモーダル・マルチフレームな手法を用いたTRECVIDセマンティックインデクシング(テーマセッション,映像処理とTRECVID)
- 映像解析・検索評価ワークショップTRECVID2010の概要(テーマセッション,映像処理とTRECVID)
- 雑音下音声におけるスペクトル縮小の分析とその耐雑音音声認識への利用(音声一般,聴覚・音声・言語とその障害/一般)
- 木構造GMMを用いたセマンティックインデクシングの高速化 (パターン認識・メディア理解)
- 木構造GMMを用いたセマンティックインデクシングの高速化 (データ工学)
- 木構造GMMを用いたセマンティックインデクシングの高速化(テーマセッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- 木構造GMMを用いたセマンティックインデクシングの高速化(テーマセッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- D-12-120 動的特徴量を用いたHMMによる連続動作認識(D-12. パターン認識・メディア理解B)
- 特別講演 映像の高性能なセマンティックインデクシングを目指して (パターン認識・メディア理解)
- クラウド時代の新しい音声研究パラダイム
- 複数ピンマイクで収音された会議音声の重畳区間検出
- GMM-SupervectorとSVMを用いた映像からのイベント検出 (音声)
- GMM-SupervectorとSVMを用いた映像からのイベント検出 (パターン認識・メディア理解)
- 音声認識におけるモデル間スケーリング係数の自動推定(音声,聴覚)
- 映像の高性能なセマンティックインデクシングを目指して(テーマセッション,実世界文字認識と理解)
- 音声認識における転移学習 : 話者適応(知識の転移)
- 手話素単位を用いた大語彙手話認識(テーマセッション,時系列パターン認識)
- 手話素単位を用いた大語彙手話認識(テーマセッション,時系列パターン認識)
- GMM-SupervectorとSVMを用いた映像からのイベント検出(テーマセッション,時系列パターン認識)
- GMM-SupervectorとSVMを用いた映像からのイベント検出(テーマセッション,時系列パターン認識)
- 映像のセマンティックインデクシングのためのq-混合ガウス分布 (パターン認識・メディア理解)
- 映像のセマンティックインデクシングのためのq-混合ガウス分布 (情報論的学習理論と機械学習)
- 固定監視カメラからの人混み中の行動イベント検出(実世界センシングとその応用)
- 固定監視カメラからの人混み中の行動イベント検出(実世界センシングとその応用)
- 映像検索技術の新たな潮流
- 音声認識におけるモデル間スケーリング係数の自動推定
- GMM-Supervector とSVMを用いた映像からのイベント検出
- 手話素単位を用いた大語彙手話認識
- 音声認識における転移学習 : 話者適応
- 映像のセマンティックインデクシングのためのq-混合ガウス分布
- GMM-Supervector とSVMを用いた映像からのイベント検出
- 映像検索技術の新たな潮流
- 「音声認識」は今後こうなる!
- 映像のセマンティックインデクシングのためのq-混合ガウス分布(テーマセッション,コンピュータビジョンとパターン認識のための機械学習及び企業ニーズセッション)
- 話者認識技術の現状と課題(オーガナイズドセッション(パネルディスカッション),音声アプリケーション,一般)
- カメラの動き補正に基づく時空間特徴量とGMM supervectorを用いた映像からのイベント検出(テーマセッション,大規模データベースとパターン認識)
- 映像のセマンティックインデクシングのためのq一混合ガウス分布(コンピュータビジョンとパターン認識のための機械学習及び企業ニーズセッション)
- コミッティに基づく能動学習・半教師付き学習を用いた音声モデル
- GMM Supervectorとビデオクリップスコアを用いた映像のセマンティックインデクシング(テーマセッション,大規模データベースとパターン認識)