音情報を用いた映像インデクシングとその応用

概要

論文の詳細を見る
映像の検索・編集・加工に伴う操作性の向上や内容把握の支援等を目指し, 我々は映像の特徴量に基づいた知的映像インタフェースの研究を進めている.映像に含まれる情報の中でもとりわけ音情報は, 映像の中で起きた事柄や状況, 登場人物の心理状態を表現した制作者の意図等をよく反映しており, その特徴量から直接事象を推定することも可能であることが多い.本論文では, 映像作品の音を構成する3要素である音楽, 音声, 音響のうち, 音楽と音声を各々が重なった場合でも独立に検出する方法を提案する.音楽の検出は, パワースペクトルのピークが時間的に安定しているという特徴に基づき, 周波数方向のエッジを求め, ピークの位置と持続性を算出することにより行う.また, 音声の検出は, 音楽成分を除去した後, 有声音に観測される調波構造をcombフィルタを用いて検出することにより行う.更にその応用例として, 検出された音情報をインデクスとし, 視覚的に表現することにより, 映像の内容を一覧しながら所望の箇所にアクセス可能な映像ブラウザを提案し, その有効性について述べる.
社団法人電子情報通信学会の論文
1998-03-25