時空間特徴量を用いたYoutube動画からの特定動作ショットの自動抽出(テーマセッション,映像処理とTRECVID)

概要

論文の詳細を見る
本研究では、教師なし手法によって単語を入力するだけで、様々な動詞に対応するショットをWebビデオから自動抽出することを目的とする。まず、Web上での一般ユーザが動画像を自由にアップロードできる動画共有サイトであるYoutubeから特定動作に対応する動画に付与されるタグの共起情報を用いて、動作キーワードについてのWeb2.0辞書を作成する。次に、この辞書に基づくキーワードに対する相関値の高い順に動画を大量に収集する。次は、収集動画に対して色情報に基づいてショット分割する。次に、ショットから時空間特徴、動き特徴、視覚特徴を抽出する。そして、各ショットをbag-of-featuresとして表現する。最後に、画像集合の代表的な画像を選出するためのランキング手法であるVisualRankを適用して、特定動作に対応するショットを自動抽出する。時空間特徴は野口らによって提案された時空間特徴を利用する。さらに、時空間特徴に全体的な動きを表現する動き特徴とガボールフィルタによる視覚特徴を統合し、ショットをランキングすることも行い、その有効性を示す。また、VisualRankの計算では、動作のタグデータベースから構築されたWeb2.0辞書に基づく相関値が高い動画からのショットを強調するとする。実験では、6種類の動詞についてランキングをおこない、上位10ショットに53.3%,、上位100ショットに48.7%の精度でそれぞれ動詞に対応したショットをランキングすることができた。
2011-02-10

時空間特徴量を用いたYoutube動画からの特定動作ショットの自動抽出(テーマセッション,映像処理とTRECVID)

スポンサーリンク

概要

著者

関連論文

スポンサーリンク