人間の知覚特性を考慮した音と映像の特徴検出および調和の許容時間を考慮したマッチング(画像符号化,通信・ストリーム技術,一般)

概要

論文の詳細を見る
心理学的知見から、音と映像とのリズムを時間的に同期させると、人間は心地よいと感じると言われており、その同期作業はコンテンツ作成においても頻繁に行われている。本研究では、従来手作業で行っていた同期作業をコンピューターを用いて支援するシステムの構築を目指す。音や映像において急激な変化のある箇所を特徴として検出し、映像の再生速度を調整して音と映像の特徴を同期させる。特徴検出では、まず、音楽や映像の局所的な平均変化率をその区間における信号の分散により測り、特徴検出のための閾値をもとめる。次に閾値を超えた信号を特徴として検出し、その超過度をその特徴の重みとする。音と映像との同期作業では、まず、それぞれの特徴の時間的なずれと、特徴の重みを考慮して、より時間的に接近し、かつ重みの大きいもの同士をマッチングさせる。次に、マッチングされた特徴の各ペアについて、音と映像の特徴が現れる時間の差が、人間が違和感を感じない許容限界よりも小さくなるように、動画の再生速度を調節する。
2008-12-11