フレーズ置換のための調波非調波GMM・NMFに基づく音源分離・演奏合成

概要

論文の詳細を見る
本論文では,多重奏音響信号中の特定の楽器パート演奏をユーザ指定の別楽譜による演奏に差し替える「フレーズ置換」システムのための音源分離・演奏合成法について報告する.本システムはまず上記特定の楽器パート演奏(置換元演奏と呼ぶ)を多重奏から分離除去し(音源分離),次にユーザが指定した楽譜の演奏を合成し多重奏に挿入する(演奏合成).自然なフレーズ置換のために,合成される演奏には置換元演奏の特徴を反映させる.本システムの技術的課題は,1)置換元演奏楽譜のみを用いた音源分離,2)置換元演奏特徴を持つ置換先演奏の高品質合成,の2点である.この課題に対処するため,次の2点に基づく音源分離・演奏合成法を設計した:1)調波非調波Gaussian Miixture Model(GMM)とNonnegative Matrix Factorization(NMF)の統合モデルによる置換元演奏と伴奏の音源分離,2) MIDI音源が合成した演奏への音色・演奏表情補正.本手法に対しi)置換元演奏が正しく除去されるか,ii)合成演奏は置換元演奏の特徴を保持しているか,の2点を客観評価した結果,それぞれ比較対象に対し28.2%, 11.5%対数スペクトル距離が改善された.
2011-12-15