顔空間クラスタリングの学習によるドラマ映像の登場人物のアノテーション手法

概要

論文の詳細を見る
本論文では, ドラマ映像における登場人物のアノテーションシステムについて述べる.ドラマ映像では人物の情報は大変重要であり, 映像中の登場人物を抽出し, 識別することにより映像に人物によるアノテーションを付与できれば, ドラマ映像の内容検索などの高度なマルチメディアアプリケーションが実現可能となる.このアノテーションを品質良く付与するためには, 人手により行うのがもっとも良いが, 数時間にも及ぶ映像中の数百から数千もの顔シーケンスに対してすべて人手で名前づけを行うのは現実的とは言えない.そこで, ドラマシリーズ中の数十程度の顔についてのみ人手で名前を付与すれば, これをもとに顔と名前の対応関係を学習し, 他の顔については全自動で名前付けを行うシステムを開発した.要素技術として, 実際のドラマ映像にも適用可能な頑強な顔シーケンス抽出 / 照合手法を用いており, 実映像についても適切に動作する.実際のドラマ映像を用いた実験では, 40の顔シーケンスの人手入力により, 全部で700近くの顔の70%程度が正しく名前付けられた.
2000-03-21