GPUを利用したライブ映像パフォーマンス向け映像合成システム

概要

論文の詳細を見る
我々は,ライブ映像パフォーマンス (以降 VJing) のためのシステム,ImproV の開発を行ってきた.VJing とは,音楽イベントやファッションショーなどのイベントにおいて,映像を提示し,その映像の生成や切替えなどの制御を人間がその場で行うというパフォーマンスである.ImproV のユーザインタフェースは,映像処理の流れをデータフローによって表すデータフローエディタである.これにより,複数の映像を重ねる,複数の映像エフェクトを任意に組み合わせるといった操作を,ユーザが VJing の最中に行うことが可能になっている.ImproV のデータフローで扱うデータ型は,我々が映像型と呼ぶ,映像のフレーム画像である.合成対象の映像も,映像エフェクトのパラメータもすべて映像型で表現するように設計した.これにより映像エフェクトのパラメータとして映像を入力し,そのパラメータを入力された映像に沿って変化させることが可能になっている.この映像型は,GPU のテクスチャを利用して実装されている.このため,各映像エフェクト間のデータ受け渡しが GPU 内において行われ,メインメモリへの画像の転送が起きないため,高速に映像を合成することができる.ImproV のデータフローで扱うノードはプラグインとして,追加可能とすることで拡張性を確保した.ノードの実装は High Level Shader Language(HLSL) を使った動的なプラグイン開発と,Node クラスの継承によるプラグイン開発の 2 つを用意している.HLSL を使った動的なプラグイン開発では,プラグイン開発者は ImproV を起動したまま,任意のテキストエディタによって HLSL ソースコードファイルを作成し,そのファイルを ImproV のデータフローエディタ上にドラッグアンドドロップすることにより,新しいノードを生成することができる.このため,プラグイン開発者は ImproV を起動したまま試行錯誤に基づいた開発を行うことができる.また,このようなノードを実装するために役立つライブラリが提供されており,簡単なエフェクトであればピクセルシェーダを記述するだけで実装が行える.HLSL のみでは実装できない機能や映像エフェクトに関しては,Node クラスの継承によってプラグインを開発する.この場合では,独自の GUI を持った映像エフェクトや GPU の機能をすべて活用した映像エフェクトを作り,ImproV を拡張することができる.
2011-03-16

GPUを利用したライブ映像パフォーマンス向け映像合成システム

スポンサーリンク

概要

著者

関連論文

スポンサーリンク