SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識(オーガナイズドセッション:スピーチエンハンスメント,音声・音響信号処理,音声及び一般)
スポンサーリンク
概要
- 論文の詳細を見る
音声認識技術において,ノイズは認識率の低下の大きな要因の一つである.ノイズにロバストな音声認識システムを実現するため,近年,マルチモーダル手法が注目されている.これは音声だけでなく,口唇の動きなどの画像など,異なる種類の情報を用いることによって認識率を向上させる手法である.マルチモーダル音声認識は,音声と画像をどのように統合するかが問題となる.統合法は結果統合と初期統合の大きく2つに分けることができる.結果統合は対数尤度ベースでの統合であり,音声と画像のアライメントが一致しないため認識率が低下する可能性がある.それに対し,初期統合は特徴量ベースでの統合である.本稿では特徴量強調手法であるSPLICEに基づく音声と口唇画像を用いた新しいマルチモーダル音声認識システムを提案する.これは初期統合の一種であるが,従来から用いられている初期統合と違い,画像情報を音声信号からの雑音除去にのみ用い,認識のためのモデル構築には画像情報を直接用いない.音声と画像の対応が取れたコーパスであるCENSREC-1-AVを利用した評価実験により,特に雑音の大きな環境では従来手法のSPLICEに対し,約13%のエラー削減率を得た.
- 2012-05-17
著者
関連論文
- 3次元母音図の4次元可視化に向けた基礎研究(視聴覚技術,ヒューマンインタフェース)
- 設備監視のための異音検知方式の一検討
- 母語話者と中国語話者の日本語朗読音声の基本周波数パターンの比較
- パネル討論 : 音声言語関連大型プロジェクトの現状と将来
- 構造不変の定理とそれに基づく音声ゲシュタルトの導出(一般, 一般, チュートリアルレクチャー)
- 構造不変の定理とそれに基づく音声ゲシュタルトの導出
- シャドーイング・音読発音評価を目的とした話者適応の分析と応用(感情音声,韻律,声質,音声生成・知覚,脳機能,一般)
- 通訳者支援システム「イズ」とその情報保障支援の可能性(聴覚と福祉情報工学・一般)
- 音声の構造的表象に基づく異言語間・異話者間の音声変換手法(言語獲得・学習,合成,生成,韻律,一般)
- 構造評価関数を用いた構造的表象からの音声合成系の高精度化(言語獲得・学習,合成,生成,韻律,一般)
- 基本周波数パターン生成過程モデルに基づくコーパスベース韻律生成における柔軟な焦点制御(言語獲得・学習,合成,生成,韻律,一般)
- 男性から女性への性別の移行を希望する性同一性障害者(MtF)の発話音声の分類に関する試案(聴覚・音声・言語とその障害,一般)
- 中国語方言の構造分析とその発音評価に向けた実験的検討(発音評価,認識,理解,対話,一般)
- 手の動きを入力としたリアルタイム音声生成系における鼻音の合成とピッチ制御に関する検討(福祉と音声処理,一般)
- 経験的モード分解による主構造抽出を介した雑音環境下における音声信号の基本周波数推定
- 言語的情報と非言語的情報の音響的分離と音声コミュニケーション (音声)
- 外国語学習を対象としたシャドーイング音声の自動評定法に関する検討(音声生成・知覚,聴覚心理,音声学・音韻論,一般)
- マルチモーダルコミュニケーションのための音声合成プラットホーム
- マルチモーダルコミュニケーションのための音声合成プラットホーム
- 構造的特徴量に対する多段階の重回帰分析による発音評価(認識,理解,対話,一般)
- 生成過程モデルを用いたHMMに基づく基本周波数パターン生成(音声・言語・音響教育,一般)
- 音声に含まれる言語的情報を非言語的情報から音響的に分離して抽出する手法の提案 : 人間らしい音声情報処理の実現に向けた一検討(ヒューマンコミュニケーション〜人間中心の情報環境構築のための要素技術〜論文)
- 話者不変な相対関係特徴を音響単位とする音響モデリングに関する実験的検討(音響モデル,第11回音声言語シンポジウム)
- 話者不変な相対関係特徴を音響単位とする音響モデリングに関する実験的検討(音響モデル,第11回音声言語シンポジウム)
- 男性から女性へ性別の移行を希望する性同一性障害者(MtF)の音声訓練 : 症例報告
- 女性と判定された性同一性障害者(MtF)の声の基本周波数(聴覚,音声,言語とその障害)
- 非言語的な要因に不変な音響的特徴を用いた中国語方言に基づく話者分類(ポスターセッション,第10回音声言語シンポジウム)
- 音声の構造的表象を用いた自動発音評定法の改善
- 音色の変復調を通して考える音声コミュニケーション(発達と知識獲得)
- 用法の違いを考慮した類似単語の置換による学習データ生成とそれを用いた主題の違いに頑健な言語モデルの構築
- 用法の違いを考慮した類似単語の置換による学習データ生成とそれを用いた主題の違いに頑健な言語モデルの構築
- カスタマイズ性を考慮した擬人化音声対話ソフトウェアツールキットの設計(音声言語情報処理とその応用)
- 1U-9 音声の構造的表象と多段階の重回帰を用いた外国語発音分析(音声分析・強調,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 統計的系列-フレーム写像に基づく音声変換(一般セッション,クロスモーダル)
- 統計的系列-フレーム写像に基づく音声変換(一般セッション,クロスモーダル)
- 統計的系列-フレーム写像に基づく音声変換(一般セッション,クロスモーダル)
- 統計的系列-フレーム写像に基づく音声変換(一般セッション,クロスモーダル)
- デ-24 発音クリニック : 音声の構造的表象を用いた外国語・方言発音分析(デモセッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 音声対話に基づく知的情報検索システム
- 生成過程モデルに基づく広東語音声の基本周波数パターンの合成
- 言語的情報と非言語的情報の音響的分離と音声コミュニケーション(オーガナイズドセッション:「Advances in soeech decomposition」,合成,生成,韻律,音声一般)
- 1990年音響・音声・信号処理国際会議(ICASSP 90)報告
- 英語CALL構築を目的とした日本人及び米国人による読み上げ英語音声データベースの構築(第二言語学習とその支援に関する教育工学研究)
- 対話音声の韻律的特徴に影響を与える要因の定量的分析
- 声調核モデルとニューラルネットワークを用いた標準中国語連続音声の声調認識(第8回音声言語シンポジウム)
- 声調核モデルとニューラルネットワークを用いた標準中国語連続音声の声調認識(Session-4 一般(ポスターセッション),第8回音声言語シンポジウム)
- 声調核モデルとニューラルネットワークを用いた標準中国語連続音声の声調認識(Session-4 一般(ポスターセッション),第8回音声言語シンポジウム)
- 声調核モデルとニューラルネットワークを用いた標準中国語連続音声の声調認識
- 用法の違いを考慮した類似単語の置換による学習データ生成とそれを用いた主題の違いに頑健な言語モデルの構築
- Evaluations of an open source WFST-based phoneticizer (音声)
- 外国語学習用読み上げ音声データベース
- An analysis on the perception of pitch level changes for Japanese words (音声)
- 母語干渉が外国語発声の韻律的自然性に与える影響に関する知覚的検討 (音声)
- IEEE音響・音声・信号処理国際会議(ICASSP'99)報告
- 経験的モード分解による主構造抽出を介した雑音環境下における音声信号の基本周波数推定
- 経験的モード分解による主構造抽出を介した雑音環境下における音声信号の基本周波数推定
- 日本語単語音声におけるピッチレベル変化の知覚に関する定量的検討
- WFST-駆動G2Pシステムの構築と評価
- 音声の構造的表象と多段階の重回帰を用いた外国語発音評価
- Eigen-SPLICEを用いた雑音環境下における音声認識
- 音声に含まれる言語的情報を非言語的情報から音響的に分離して抽出する手法の提案 : 人間らしい音声情報処理の実現に向けた一検討
- WFST-駆動G2Pシステムの構築と評価(音声一般,聴覚・音声・言語とその障害/一般)
- 日本語単語音声におけるピッチレベル変化の知覚に関する定量的検討(聴覚一般,聴覚・音声・言語とその障害/一般)
- 母語干渉が外国語発声の韻律的自然性に与える影響に関する知覚的検討(オーガナイズドセッション2,聴覚・音声・言語とその障害/一般)
- 手から声のメディア変換モデルと手のジェスチャーモデルの確率的統合に基づく異メディア空間の対応付けの検討(音声一般・障害者支援,聴覚・音声・言語とその障害/一般)
- VCV/VV単位によるフュージョン手法を用いた波形接続型日本語音声合成
- 音声の構造的表象に基づく学習者分類の検証と発音矯正度推定の高精度化
- B1.日本人学習者のフランス語母音生成特徴の考察 : 音声の構造表象による発音評価の応用(研究発表,音声学会2009年度(第23回)全国大会発表要旨)
- A8. 日本語音声の難易度 : 英語を母語とする学習者の場合(研究発表,日本音声学会創立80周年記念式典・第20回全国大会発表要旨)
- C2. 孤立音を聞いて音韻同定できる能力は音声言語運用に必要か?(研究発表,日本音声学会2007年度(第21回)全国大会発表要旨)
- A6. 句境界のフィラーが聞き手の予測に及ぼす影響(研究発表,第19回全国大会発表要旨)
- B2. 節境界の種類とフィラーの出現頻度(研究発表,第18回全国大会発表要旨)
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識 (音声)
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識 (応用音響)
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識 (信号処理)
- 空間写像に基づく母音と鼻子音を対象としたジェスチャ-音声変換システム
- 話者空間のテンソル表現に基づく任意話者声質変換(オーガナイズドセッション:Advances in speech decomposition,合成,生成,韻律,音声一般)
- 日本語単語における2モーラ単位でのピッチレベル低下の確率的定式化(一般セッション,合成,生成,韻律,音声一般)
- 雑音抑圧とSPLICEを組み合わせた雑音環境下音声認識(オーガナイズドセッション:スピーチエンハンスメント,音声・音響信号処理,音声及び一般)
- 雑音抑圧とSPLICEを組み合わせた雑音環境下音声認識(オーガナイズドセッション:スピーチエンハンスメント,音声・音響信号処理,音声及び一般)
- 雑音抑圧とSPLICEを組み合わせた雑音環境下音声認識(オーガナイズドセッション:スピーチエンハンスメント,音声・音響信号処理,音声及び一般)
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識(オーガナイズドセッション:スピーチエンハンスメント,音声・音響信号処理,音声及び一般)
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識(オーガナイズドセッション:スピーチエンハンスメント,音声・音響信号処理,音声及び一般)
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識(オーガナイズドセッション:スピーチエンハンスメント,音声・音響信号処理,音声及び一般)
- 外国語学習を対象としたシャドーイング音声の自動評定法に関する検討
- 条件付き確率場を用いた日本語東京方言のアクセント結合自動推定(音声,聴覚,学生論文)
- 構造的特徴を用いたSVMによる中国語自動発音誤り検出(システム,認識,理解,対話,一般)
- 日本語アクセント・イントネーションの教育・学習を支援するオンラインインフラストラクチャの構築とその評価(音声,聴覚,システム開発論文)
- 波形包絡を用いた音節核の自動抽出とそれを用いた構造的表象による単語獲得プロセスのモデル化の初期検討(ポスターセッション)
- スーパーベクトルとSVRに基づくMtF話者のための女声度推定(学生ポスターセッション,音声アプリケーション,一般)
- 日本語韻律教育の支援を目的としたオンラインアクセント辞書と読み上げチューターの開発(一般セッション,音声アプリケーション,一般)
- 日本語HMM音声合成のコンテキストラベルの改良(一般セッション,音声・言語・対話,一般)
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識
- 雑音抑圧とSPLICEを組み合わせた雑音環境下音声認識
- 雑音抑圧とSPLICEを組み合わせた雑音環境下音声認識
- 条件付き確率場を用いた日本語東京方言のアクセント結合自動推定
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識
- SPLICEに基づく音声・口唇画像情報を用いた雑音環境下音声認識
- 世界諸英語分類のための構造的表象を用いた発音距離予測(一般,時系列パターン認識,一般)
- 雑音抑圧とSPLICEを組み合わせた雑音環境下音声認識