SingBySpeaking : 歌声知覚に重要な音響特徴を制御して話声を歌声に変換するシステム(スペシャルセッション・歌情報処理2)
スポンサーリンク
概要
- 論文の詳細を見る
本稿では,歌詞の朗読音声(話声)を歌声に変換する歌声合成システムSingBySpeakingについて述べる.このシステムは,音声分析合成系STRAIGHTによる分析/合成処理過程において,基本周波数(FO),スペクトル,音韻長を制御するモデルによって歌声特有の音響特徴を操作することで話声を歌声に変換する.FO制御モデルは,楽譜情報から得られるメロディの遷移の概形に対して,4種類の動的変動成分(オーバーシュート,ヴィブラート,プレパレーション,微細変動)を付与することで歌声のFO変化パターンを生成する.スペクトル制御モデルは,話声のスペクトルに対して,歌唱ホルマントとヴィブラートに同期したホルマントの振幅変調を付与することで歌声のスペクトル形状を生成する.音韻長制御モデルは,楽曲のテンポに基づいて,話声中の各音韻長を歌声の音韻長に伸長する.システムで合成された音声を聴取実験によって評価した結果,各種音響特徴を制御することで話声から歌声に変換され,すべての特徴を制御した合成音の音質は原音声と同程度であることを示した.
- 2008-02-08
著者
-
赤木 正人
北陸先端科学技術大学院大学
-
後藤 真孝
産業技術総合研究所
-
齋藤 毅
産業技術総合研究所
-
鵜木 祐史
北陸先端科学技術大学院大学情報科学研究科
-
鵜木 祐史
北陸先端科学技術大学院大学
-
後藤 真孝
産総研
-
斎藤 毅
北陸先端科学技術大学院大学・情報科学研究科:(現)産業技術総合研究所
関連論文
- 変調伝達関数に基づいた骨導音声ブラインド回復法の検討
- 線形予測に基づいた骨導音声回復法の総合評価
- Comparative evaluation of bone-conducted-speech restoration based on linear prediction scheme (応用音響)
- 音声に含まれる感情情報の認識 : 感情空間をどのように表現するか
- A study on the LP-based blind model in restoring bone-conducted speech (Speech) -- (国際ワークショップ"Asian workshop on speech science and technology")
- 音声明瞭度の回復を目的とする線形予測分析に基づいた骨導音声ブラインド回復法の評価(聴覚・音声/一般)
- An LP-based blind restoration method for improving intelligibility of bone-conducted speech (音声)
- SingBySpeaking : 歌声知覚に重要な音響特徴を制御して話声を歌声に変換するシステム(スペシャルセッション・歌情報処理2)
- 方向性の手掛かりが雑音環境下での報知音の検知能力に及ぼす影響(聴覚・音声・言語とその障害,一般)
- 基本周波数の微細変動成分に対する知覚
- 第1部-分野別の流れ- 聴覚分野
- ヒトの聴覚情報処理過程を考慮した音声認識モデル(感情音声,韻律,声質,音声生成・知覚,脳機能,一般)
- 基本周波数包絡が異なる感情音声聴取時の脳活動測定
- 残響環境に頑健な音声認識のための前処理 : 音声特有の特徴の利用(認識,理解,対話,一般)
- 聴覚末梢系の機能モデルの提案 : 聴神経の位相固定性及びスパイク生成機構のモデル化
- 有限要素法による声道伝達特性推定の有効性に関する検討
- 声道断面形状の非対称性が声道伝達特性に及ぼす影響
- MRI計測による声道モデルの伝達特性の推定精度の検討(聴覚・音声・言語とその障害)
- 舌・口底切除患者の声道モデルを変形させたモデルの声道伝達特性の分析
- 舌・口底切除患者の3次元声道形状モデルの有限要素法による分析
- EA2010-31 線形予測に基づいた骨導音声回復法の総合評価
- MTFに基づいた残響音声パワーエンベロープの回復方法
- MTFに基づいた残響音声パワーエンベロープの回復方法
- Workshop on Robust Methods for Speech Recognition in Adverse Conditions報告
- 小規模マイクロホンアレーによる音声認識の雑音耐性向上
- マイクロホン対を用いたスペクトルサブトラクションによる雑音除去法
- マスキング特性を考慮した低品質音声に対する歪み評価尺度の提案
- 聴覚特性を考慮した低品質音声に対する歪み評価尺度の提案
- 雑音除去を前提とした音声及び雑音の到来方向推定法
- 複数マイクロホンを用いたスペクトルサブトラクションによる雑音除去法
- 複数マイクロホンを用いたスペクトルサブトラクションによる雑音除去法
- マイクロホン対を用いた雑音除去法(NORPAM)
- マイクロホン対を用いた残響除去法(DERPAM)
- マイクロホン対を用いた雑音除去法(NORPAM)
- 雑音残響環境下におけるMTFに基づくパワーエンベロープ回復処理の検討
- fMRIを用いた歌声と話声における脳活動の差異の検討
- 下丘細胞の時間応答特性に関する計算モデルの提案
- 蝸牛神経核背側核細胞の周波数応答特性に関する神経回路モデルの提案 : トーンバースト刺激に対する応答
- 一次スプライン多重解像度解析を用いた音声振幅スペクトル分析について
- 一次スプライン多重解像度解析と音声振幅スペクトル分析
- スペクトル操作合成音声の聴取と声道形状モデルによる開鼻声の音響的特徴の分析(聴覚・音声/一般)
- SingBySpeaking : 歌声知覚に重要な音響特徴を制御して話声を歌声に変換するシステム(スペシャルセッション・歌情報処理2)
- 時間情報と周波数情報を用いた実環境雑音下における基本周波数推定(聴覚・音声・言語とその障害)
- 口腔疾患に伴う構音障害の音響的特徴に関する研究
- プリエンファシスと適応予測フィルタを用いたオーディオデータの可逆圧縮
- プリエンファシスと適応予測フィルタを用いたオーディオデータの可逆圧縮
- プリエンファシスと適応予測フィルタを用いたオーディオデータの可逆圧縮
- 歌声らしさの知覚モデルに基づいた歌声特有の音響特徴量の分析
- MRIによる舌・口底切除患者の3次元声道形状の分析
- MRI による舌・口底切除患者の声道非対称性の計測
- 舌・口底切除患者の3次元声道形状モデルの有限要素法による分析
- MR撮像法を用いた3次元声道形状の計測 : 舌・口底切除症例の検討
- 舌・口底切除における異常構音の音響的特徴 : スペクトルのピーク分析の試み
- 側音化構音の知覚と物理関連量
- 側音化構音の音響特性について
- 音声生成における軟口蓋の働きのモデル化に関する研究(音声・聴覚,一般)
- エントロピーによる重み付けを用いた雑音環境下での基本周波数推定
- 歌声の基本周波数変化に含まれるオーバーシュートの知覚への影響に関する検討
- 自然性の高い歌声合成のためのヴィブラート変調周波数の制御法の検討(聴覚・音声, 発声, 感情音声)
- 歌声らしさに影響を与える音響的特徴を考慮した話声からの歌声合成法(聴覚・信号処理/一般)
- 歌声におけるF0動的変動成分の抽出とF0制御モデル
- 聴神経の順応特性の計算機シミュレーション--順応の音圧レベル依存特性のモデル化
- 変調伝達関数に基づいた骨導音声ブラインド回復法の検討
- アジアの音
- 線形予測分析に基づいた骨導音声ブラインド回復法の総合的評価(音声生成・知覚,聴覚心理,音声学・音韻論,一般)
- 連続発話音声中に含まれる男声・女声知覚に寄与する音響特徴量(聴覚・音声・言語とその障害,一般)
- 怒りの感情音声における音響特徴量の分析
- 蝸牛神経核腹側核細胞モデルの振幅変調音に対する応答特性
- 蝸牛神経核細胞の機能モデルの提案 : 前腹側核細胞の応答特性
- 表現豊かな音声 : その生成・知覚と音声合成への応用
- 舌・口底切除症例における構音動態及び音響特性
- 時間方向情報の知覚の検討 : 位相変化の音色知覚に及ぼす影響について
- STRAIGHTを用いた話声からの歌声合成(聴覚・音声/一般)
- A Study on Restoration of Bone-Conducted Speech with LPC-Based Model (国際ワークショップ Frontiers in Speech and Hearing Research)
- 方向性の手がかりを利用した雑音環境下での報知音の検知能力の向上(聴覚・音声/一般)
- 方向性の手がかりを利用した雑音環境下での報知音の検知能力の向上
- 聴神経の順応特性の計算機シミュレーション : 順応の音圧レベル依存特性のモデル化
- 単母音の話者識別に寄与するスペクトル包絡成分
- 連続音声中の母音の話者識別におけるスペクトル包絡と基本周波数の役割
- 単純類似度法による話者識別に適した周波数帯域の検討
- 話者識別に寄与するスペクトル包絡の成分について
- 話者識別に寄与するスペクトル包絡の成分について
- スペクトル包絡と個人性判断の関係
- 個人性情報を含む周波数帯域について
- スペクトル高域成分の変形と話者識別
- 音声のスペクトル包絡に含まれる個人性について
- 雑音が付加された音声の基本周波数推定と雑音抑圧
- 自然観測法を用いた擬似聴覚フィルタモデル : 正規型自然観測フィルタ
- 雑音が付加された波形からの信号波形の一抽出法
- Temporal Decomposition を用いたSTRAIGHT用低ビットレート音声符号化
- 母音知覚における文脈効果の測定とそのモデリング
- 残響音声からの基本周波数推定に関する検討
- 瞬時振幅の周期性・調波性を基にした相関係数統合による基本周波数推定
- 雑音中の音声基本周波数推定法の提案
- 連続発話音声中に含まれる男声・女声知覚に寄与する音響特徴量
- MTFに基づいた残響音声の回復法の検討(聴覚,音声,言語とその障害)
- 聴覚末梢系処理モデルを用いた非定常機械騒音の評価
- 雑音環境下における音源分離を認識規範とした音声認識法の提案(生成,認識、音響心理)(音声の基礎と応用シンポジウム)
- 雑音と反射音に対してロバストな話者方向推定法
- A study on the LP-based blind model in restoring bone-conducted speech