空間写像に基づく母音と鼻子音を対象としたジェスチャ-音声変換システム
スポンサーリンク
概要
- 論文の詳細を見る
調音音声合成に代表される文字や記号を介さない合成方式は,運動の連続性に基づく滑らかな合成音の生成やその話速制御などにおいて有効性が注目されている.しかしそのアプリケーションのほとんどは,入力機器の特性を活用して設計されているため,その方法論を他のメディアや機器に応用することは容易ではない.本研究では身体運動から音声を生成するプロセスを,特定の身体部位に限定せずに一般化してとらえ,音声以外のメディア情報の動きを入力として音声を出力するプロセス,異メディア間写像の問題としてとらえる.そして近年声質変換の分野で広く用いられている統計的空間写像構築法を応用した,メディア非依存の方法論を提案する.本稿ではその一例として手の運動からの音声出力を考える.この手法においては,どの手の姿勢(以下ジェスチャ)をどの音に割り当てるかが課題となる.これまでに,ジェスチャを入力とした日本語5母音の連続音声生成において,本手法の有効性および適切なジェスチャ選択手法を報告している.本稿では,子音として鼻子音に注目し,母音に関して,ジェスチャと音が時間同期されたデータを用いて構築した音声→ジェスチャ変換システム(目的とするシステムの逆システム)に鼻子音音声を入力することにより,鼻子音に割り当てるジェスチャを推定する手法を提案する.聴取実験の結果,音声→ジェスチャ変換システムによって推定されたジェスチャは,ジェスチャ候補から選ばれた準最適なジェスチャと比較して,より自然な音声を出力するジェスチャ→音声システムを構築することが示された.
- 2012-09-15
著者
-
広瀬 啓吉
東京大学
-
広瀬 啓吉
東大
-
齋藤 大輔
芝浦工業大学工学部電気工学科:東京工芸大学大学院工学研究科ハイパーメディア研究センター
-
喬 宇
東京大学大学院情報理工学系研究科
-
國越 晶
東京大学大学院工学系研究科
-
齋藤 大輔
東京大学
-
峯松 信明
東京大学
-
喬 宇
東京大学
関連論文
- 3次元母音図の4次元可視化に向けた基礎研究(視聴覚技術,ヒューマンインタフェース)
- 設備監視のための異音検知方式の一検討
- 母語話者と中国語話者の日本語朗読音声の基本周波数パターンの比較
- 英語・中国語・母語話者の日本語朗読音声のF0に現れる特徴(音声生成・知覚,聴覚心理,音声学・音韻論,一般)
- 英語・中国語・母語話者の日本語朗読音声のF0に現れる特徴
- パネル討論 : 音声言語関連大型プロジェクトの現状と将来
- 構造不変の定理に基づく音声の構造的表象とその距離尺度
- シャドーイング・音読発音評価を目的とした話者適応の分析と応用(感情音声,韻律,声質,音声生成・知覚,脳機能,一般)
- 通訳者支援システム「イズ」とその情報保障支援の可能性(聴覚と福祉情報工学・一般)
- 音声の構造的表象に基づく異言語間・異話者間の音声変換手法(言語獲得・学習,合成,生成,韻律,一般)
- 構造評価関数を用いた構造的表象からの音声合成系の高精度化(言語獲得・学習,合成,生成,韻律,一般)
- 構造表象を用いた音声認識におけるパラメータ共有とその効果(認識,理解,対話,一般)
- 構造的表象からの音声合成とそれに基づく音声模倣に関する検討(音声生成・知覚,聴覚心理,音声学・音韻論,一般)
- ケプストラムの声道長依存性に関する幾何学的考察(一般(ポスターセッション),第9回音声言語シンポジウム)
- 構造的表象からの音声生成に関する基礎的検討(合成,生成,韻律,一般)
- 基本周波数パターン生成過程モデルに基づくコーパスベース韻律生成における柔軟な焦点制御(言語獲得・学習,合成,生成,韻律,一般)
- 男性から女性への性別の移行を希望する性同一性障害者(MtF)の発話音声の分類に関する試案(聴覚・音声・言語とその障害,一般)
- 中国語方言の構造分析とその発音評価に向けた実験的検討(発音評価,認識,理解,対話,一般)
- 非言語的な要因に不変な音響的特徴を用いた中国語方言に基づく話者分類(ポスターセッション,第10回音声言語シンポジウム)
- 手の動きを入力としたリアルタイム音声生成系における鼻音の合成とピッチ制御に関する検討(福祉と音声処理,一般)
- 経験的モード分解による主構造抽出を介した雑音環境下における音声信号の基本周波数推定
- スペクトル領域特徴量を用いた音声の構造的表象に関する実験的考察(音声生成・知覚,聴覚心理,音声学・音韻論,一般)
- 外国語学習を対象としたシャドーイング音声の自動評定法に関する検討(音声生成・知覚,聴覚心理,音声学・音韻論,一般)
- 招待講演 通訳者支援システム「イズ」とその情報保障支援の可能性
- マルチモーダルコミュニケーションのための音声合成プラットホーム
- マルチモーダルコミュニケーションのための音声合成プラットホーム
- 構造的特徴量に対する多段階の重回帰分析による発音評価(認識,理解,対話,一般)
- 生成過程モデルを用いたHMMに基づく基本周波数パターン生成(音声・言語・音響教育,一般)
- ボトムアップクラスタリングを用いたシャドーイング音声の自動評定(聴覚・音声・言語とその障害,一般)
- ケプストラムの声道長依存性に関する幾何学的考察(一般(ポスターセッション),第9回音声言語シンポジウム)
- ケプストラムの声道長依存性に関する幾何学的考察(一般(ポスターセッション),第9回音声言語シンポジウム)
- 話者不変な相対関係特徴を音響単位とする音響モデリングに関する実験的検討(音響モデル,第11回音声言語シンポジウム)
- 話者不変な相対関係特徴を音響単位とする音響モデリングに関する実験的検討(音響モデル,第11回音声言語シンポジウム)
- 男性から女性へ性別の移行を希望する性同一性障害者(MtF)の音声訓練 : 症例報告
- 女性と判定された性同一性障害者(MtF)の声の基本周波数(聴覚,音声,言語とその障害)
- 女声と聴取された性同一性障害者(MtF)の音声の音響分析
- 音声の構造的表象と判別分析を用いた単語音声認識(ポスターセッション,第10回音声言語シンポジウム)
- アフィン変換不変性を有する局所的特徴量を用いた音声認識(ポスターセッション,第10回音声言語シンポジウム)
- 非言語的な要因に不変な音響的特徴を用いた中国語方言に基づく話者分類(ポスターセッション,第10回音声言語シンポジウム)
- 音声の構造的表象と判別分析を用いた単語音声認識(ポスターセッション,第10回音声言語シンポジウム)
- アフィン変換不変性を有する局所的特徴量を用いた音声認識(ポスターセッション,第10回音声言語シンポジウム)
- 非言語的な要因に不変な音響的特徴を用いた中国語方言に基づく話者分類(ポスターセッション,第10回音声言語シンポジウム)
- 音声の構造的表象と判別分析を用いた単語音声認識(ポスターセッション,第10回音声言語シンポジウム)
- 音声の構造的表象を用いた自動発音評定法の改善
- 用法の違いを考慮した類似単語の置換による学習データ生成とそれを用いた主題の違いに頑健な言語モデルの構築
- 用法の違いを考慮した類似単語の置換による学習データ生成とそれを用いた主題の違いに頑健な言語モデルの構築
- カスタマイズ性を考慮した擬人化音声対話ソフトウェアツールキットの設計(音声言語情報処理とその応用)
- 1U-9 音声の構造的表象と多段階の重回帰を用いた外国語発音分析(音声分析・強調,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 音声対話に基づく知的情報検索システム
- 生成過程モデルに基づく広東語音声の基本周波数パターンの合成
- 1990年音響・音声・信号処理国際会議(ICASSP 90)報告
- 対話音声の韻律的特徴に影響を与える要因の定量的分析
- 声調核モデルとニューラルネットワークを用いた標準中国語連続音声の声調認識(第8回音声言語シンポジウム)
- 声調核モデルとニューラルネットワークを用いた標準中国語連続音声の声調認識(Session-4 一般(ポスターセッション),第8回音声言語シンポジウム)
- 声調核モデルとニューラルネットワークを用いた標準中国語連続音声の声調認識(Session-4 一般(ポスターセッション),第8回音声言語シンポジウム)
- 声調核モデルとニューラルネットワークを用いた標準中国語連続音声の声調認識
- 用法の違いを考慮した類似単語の置換による学習データ生成とそれを用いた主題の違いに頑健な言語モデルの構築
- Evaluations of an open source WFST-based phoneticizer (音声)
- An analysis on the perception of pitch level changes for Japanese words (音声)
- IEEE音響・音声・信号処理国際会議(ICASSP'99)報告
- 経験的モード分解による主構造抽出を介した雑音環境下における音声信号の基本周波数推定
- 経験的モード分解による主構造抽出を介した雑音環境下における音声信号の基本周波数推定
- 日本語単語音声におけるピッチレベル変化の知覚に関する定量的検討
- WFST-駆動G2Pシステムの構築と評価
- 音声の構造的表象と多段階の重回帰を用いた外国語発音評価
- Eigen-SPLICEを用いた雑音環境下における音声認識
- WFST-駆動G2Pシステムの構築と評価(音声一般,聴覚・音声・言語とその障害/一般)
- 日本語単語音声におけるピッチレベル変化の知覚に関する定量的検討(聴覚一般,聴覚・音声・言語とその障害/一般)
- 母語干渉が外国語発声の韻律的自然性に与える影響に関する知覚的検討(オーガナイズドセッション2,聴覚・音声・言語とその障害/一般)
- 手から声のメディア変換モデルと手のジェスチャーモデルの確率的統合に基づく異メディア空間の対応付けの検討(音声一般・障害者支援,聴覚・音声・言語とその障害/一般)
- VCV/VV単位によるフュージョン手法を用いた波形接続型日本語音声合成
- 音声の構造的表象に基づく学習者分類の検証と発音矯正度推定の高精度化
- B1.日本人学習者のフランス語母音生成特徴の考察 : 音声の構造表象による発音評価の応用(研究発表,音声学会2009年度(第23回)全国大会発表要旨)
- A6. 句境界のフィラーが聞き手の予測に及ぼす影響(研究発表,第19回全国大会発表要旨)
- B2. 節境界の種類とフィラーの出現頻度(研究発表,第18回全国大会発表要旨)
- 空間写像に基づく母音と鼻子音を対象としたジェスチャ-音声変換システム
- 話者空間のテンソル表現に基づく任意話者声質変換(オーガナイズドセッション:Advances in speech decomposition,合成,生成,韻律,音声一般)
- 日本語単語における2モーラ単位でのピッチレベル低下の確率的定式化(一般セッション,合成,生成,韻律,音声一般)
- 雑音抑圧とSPLICEを組み合わせた雑音環境下音声認識(オーガナイズドセッション:スピーチエンハンスメント,音声・音響信号処理,音声及び一般)
- 雑音抑圧とSPLICEを組み合わせた雑音環境下音声認識(オーガナイズドセッション:スピーチエンハンスメント,音声・音響信号処理,音声及び一般)
- 雑音抑圧とSPLICEを組み合わせた雑音環境下音声認識(オーガナイズドセッション:スピーチエンハンスメント,音声・音響信号処理,音声及び一般)
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識(オーガナイズドセッション:スピーチエンハンスメント,音声・音響信号処理,音声及び一般)
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識(オーガナイズドセッション:スピーチエンハンスメント,音声・音響信号処理,音声及び一般)
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識(オーガナイズドセッション:スピーチエンハンスメント,音声・音響信号処理,音声及び一般)
- 外国語学習を対象としたシャドーイング音声の自動評定法に関する検討
- 条件付き確率場を用いた日本語東京方言のアクセント結合自動推定(音声,聴覚,学生論文)
- 構造的特徴を用いたSVMによる中国語自動発音誤り検出(システム,認識,理解,対話,一般)
- 日本語アクセント・イントネーションの教育・学習を支援するオンラインインフラストラクチャの構築とその評価(音声,聴覚,システム開発論文)
- 波形包絡を用いた音節核の自動抽出とそれを用いた構造的表象による単語獲得プロセスのモデル化の初期検討(ポスターセッション)
- スーパーベクトルとSVRに基づくMtF話者のための女声度推定(学生ポスターセッション,音声アプリケーション,一般)
- 日本語韻律教育の支援を目的としたオンラインアクセント辞書と読み上げチューターの開発(一般セッション,音声アプリケーション,一般)
- 日本語HMM音声合成のコンテキストラベルの改良(一般セッション,音声・言語・対話,一般)
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識
- 雑音抑圧とSPLICEを組み合わせた雑音環境下音声認識
- 雑音抑圧とSPLICEを組み合わせた雑音環境下音声認識
- 条件付き確率場を用いた日本語東京方言のアクセント結合自動推定
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識
- 世界諸英語分類のための構造的表象を用いた発音距離予測(一般,時系列パターン認識,一般)
- 雑音抑圧とSPLICEを組み合わせた雑音環境下音声認識