横顔の動画像情報を用いたマルチモーダル音声認識(自然言語情報処理研究会と一部合同開催 : マルチモーダル・音声インタフェース関連)
スポンサーリンク
概要
- 論文の詳細を見る
本論文では,横顔から抽出された口唇動画像情報を利用した,雑音に頑健な音声認識手法を提案する.これまでのマルチモーダル音声認識手法では,主に顔の正面から撮影された口唇画像を用いているが,モバイル環境で利用することを考えると,ユーザは発話をしながらカメラ付き携帯電話を顔の正面で持たなければならず,音声入力が困難である.提案手法は,携帯電話のマイク部分に小型カメラを搭載し,その映像を用いることを想定しており,自然なスタイルで容易に音声と画像を取り込むことができる.画像特徴量はオプティカルフロー解析によって抽出される.フレームごとに画像特徴量を音響特徴量と結合し,マルチストリームHMMを用いて認識を行う.白色雑音を重畳した連続数字音声による認識実験を行ったところ,画像情報を利用することによって,様々なSN比条件で数字正解精度の改善が確認された.SN比5dBの時に画像情報の効果が最も高く,正解精度の改善は約6%であった.
- 一般社団法人情報処理学会の論文
- 2003-05-27
著者
-
古井 貞熙
東京工業大学大学院情報理工学研究科計算工学専攻
-
岩野 公司
東京工業大学大学院情報理工学研究科計算工学専攻
-
岩野 公司
東京都市大学環境情報学部情報メディア学科
-
田村 哲嗣
東京工業大学情報理工学研究科
-
古井 貞熙
東京工業大学
-
吉永 智明
東京工業大学大学院 情報理工学研究科 計算工学
関連論文
- 年齢推定のための音声特徴量および推定器の検討 (音声)
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出 (医用画像)
- 音声認識実用化技術の展開(総合報告)
- SIFT混合ガウス分布と音響特徴を用いた映像からの高次特徴検出(テーマセッション関連,一般物体認識・画像特徴量)
- WFST音声認識デコーダにおけるon-the-fly合成の最適化処理(音声,聴覚)
- 携帯端末上でのプロキシ編集(映像理論・映像システム,画像処理・符号化及び一般)
- 頑健な区間検出とモデル適応に基づく雑音下音声認識(雑音下音声処理)(第6回音声言語シンポジウム)
- F_0パターン生成モデルのための数量化I類の平均値置換による話者適応法の検討(感情音声,韻律,声質,音声生成・知覚,脳機能,一般)
- CHLAC特徴と隠れマルコフモデルを用いたGait認識(一般セッション2,複合現実感のためのパターン認識・理解)
- 統計的モデル選択によるシーン数の自動推定を用いた動画要約(一般セッション3,複合現実感のためのパターン認識・理解)
- 耐雑音音声認識のためのハフ変換による基本周波数情報抽出の高速化
- WFST音声認識デコーダの高機能化とその応用 : on-the-fly合成法の検討(プラットフォーム)
- 話者認識研究の現状と展望
- 連続音声認識のためのネットワーク構造を用いた効率的探索手法
- 話し言葉音声の音響的・言語的特徴の分析
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出(一般,First Person Visionのための認識・理解)
- 音声情報を統合したプレゼンテーションコンテンツ検索(情報検索,データ工学論文)
- 1 音声認識技術の実用化への取り組み(音声認識技術の実用化への取り組み)
- 音響モデル学習のための相対エントロピーを用いた学習文選択
- 年齢推定のための音声特徴量および推定器の検討(音声・言語・音響教育,一般)
- 音声・非音声の信頼度を利用した雑音に頑健な音声認識デコーダの検討(音声・言語・音響教育,一般)
- 音声の有無による違いを考慮した Home video 簡易編集
- 大規模映像資源のためのマルチモーダル高次特徴検出(画像・映像処理)
- 重要文抽出による音声自動要約手法とその客観評価法についての検討(要約, 検索, 認識・理解・対話・一般)
- マルチストリーム話者照合におけるブースティングに基づく閾値最適化法の検討(Session-1 音響モデル・特徴量・学習, 第7回音声言語シンポジウム)
- マルチストリーム話者照合におけるブースティングに基づく閾値最適化法の検討(Session-1 音響モデル・特徴量・学習, 第7回音声言語シンポジウム)
- マルチストリーム話者照合におけるブースティングに基づく閾値最適化法の検討(Session-1 音響モデル・特徴量・学習, 第7回音声言語シンポジウム)
- マルチストリーム話者照合におけるブースティングに基づく重み最適化法の検討(ポスターセッション)(第6回音声言語シンポジウム)
- マルチストリーム話者照合におけるブースティングに基づく重み最適化法の検討(ポスターセッション)(第6回音声言語シンポジウム)
- マルチストリーム話者照合におけるブースティングに基づく重み最適化法の検討(ポスターセッション)(第6回音声言語シンポジウム)
- 雑音に頑健な話者照合のための基本周波数情報の利用(認識・理解・対話)
- 雑音に頑健な話者照合のための基本周波数情報の利用(認識・理解・対話)
- 会議音声認識のためのスペクトル減算に基づくオンライン音源分離(オーガナイズドセッション:スピーチエンハンスメント,音声,応用/電気音響,信号処理,及び一般)
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出(一般,First Person Visionのための認識・理解)
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出(一般,First Person Visionのための認識・理解)
- SIFT混合ガウス分布を用いた一般物体認識のためのマルチカーネル学習(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- SIFT混合ガウス分布を用いた一般物体認識のためのマルチカーネル学習(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- WFST駆動音声認識デコーダの最近の評価結果(デコーダ,第11回音声言語シンポジウム)
- WFST駆動音声認識デコーダの最近の評価結果(デコーダ,第11回音声言語シンポジウム)
- ニュース音声を対象とした大語彙連続音声認識と話題抽出
- 単語trigramを用いた大語彙連続音声認識
- 音声と耳介画像を用いたマルチモーダル個人認証(認識・理解・対話)
- 音声の有無による違いを考慮したHome video簡易編集
- 科学技術振興調整費開放的融合研究推進制度 : (小特集:) : 大規模コーパスに基づく『話し言葉工学』の構築
- 会議音声認識のためのスペクトル減算に基づくオンライン音源分離(オーガナイズドセッション:スピーチエンハンスメント,音声,応用/電気音響,信号処理,及び一般)
- 会議音声認識のためのスペクトル減算に基づくオンライン音源分離(オーガナイズドセッション:スピーチエンハンスメント,音声,応用/電気音響,信号処理,及び一般)
- 超並列計算機を用いた入力音声の変動に頑健な音声対話システムの検討(Session-4 システム・言語モデル, 第7回音声言語シンポジウム)
- 超並列計算機を用いた入力音声の変動に頑健な音声対話システムの検討(Session-4 システム・言語モデル, 第7回音声言語シンポジウム)
- 超並列計算機を用いた入力音声の変動に頑健な音声対話システムの検討(Session-4 システム・言語モデル, 第7回音声言語シンポジウム)
- ニュース音声を対象とした言語モデルと話題抽出の検討
- ニュース音声認識のための言語モデルと音響モデルの検討
- 音声認識のための複数の認識器を利用した能動学習(音響モデル,第11回音声言語シンポジウム)
- 音声認識のための複数の認識器を利用した能動学習
- 講義音声認識における講義スライド情報の利用(第8回音声言語シンポジウム)
- 実環境を考慮したマルチモーダル音声認識のためのストリーム重み最適化手法
- 実環境を考慮したマルチモーダル音声認識のためのストリーム重み最適化手法
- マルチモーダル音声認識におけるストリーム重み係数最適化の検討(ポスターセッション)(第5回音声言語シンポジウム)
- マルチモーダル音声認識におけるストリーム重み係数最適化の検討(第5回音声言語シンポジウム : ポスターセッション)
- マルチモーダル音声認識におけるストリーム重み係数最適化の検討(第5回音声言語シンポジウム : ポスターセッション)
- 横顔の動画像情報を用いたマルチモーダル音声認識(自然言語情報処理研究会と一部合同開催 : マルチモーダル・音声インタフェース関連)
- オプティカルフローを用いたマルチモーダル音声認識法の提案と評価
- オプティカルフローを用いたマルチモーダル音声認識法の提案と評価
- マルチストリームHMMを用いた特徴量の次元別重み付き話者照合の検討(音声認識・識別,第9回音声言語シンポジウム)
- マルチストリームHMMを用いた特徴量の次元別重み付き話者照合の検討(音声認識・識別,第9回音声言語シンポジウム)
- マルチストリームHMMを用いた特徴量の次元別重み付き話者照合の検討(音声認識・識別,第9回音声言語シンポジウム)
- 周波数帯域ごとの重みつき尤度を用いた雑音に頑健な音声認識(耐雑音)(第5回音声言語シンポジウム)
- 周波数帯域ごとの重みつき尤度を用いた雑音に頑健な音声認識(第5回音声言語シンポジウム : 耐雑音)
- 周波数帯域ごとの重みつき尤度を用いた雑音に頑健な音声認識(第5回音声言語シンポジウム : 耐雑音)
- 頑健な区間検出とモデル適応に基づく雑音下音声認識(雑音下音声処理)(第6回音声言語シンポジウム)
- 頑健な区間検出とモデル適応に基づく雑音下音声認識(雑音下音声処理)(第6回音声言語シンポジウム)
- HMM音声合成における自然性と個人性に優れた韻律モデル適応法の検討
- マルチモーダル音声認識におけるストリーム重みの教師なし推定法の検討
- 話し言葉音声合成の韻律制御に関する検討
- マルチモーダル音声認識におけるストリーム重みの教師なし推定法の検討
- 話し言葉音声合成の韻律制御に関する検討
- 対話システムへの利用を想定したマルチモーダル音声認識の検討
- HMMを用いた話し言葉音声合成のためのモデルの検討
- 講義音声認識における講義スライド情報の利用(Session-6 音声認識,第8回音声言語シンポジウム)
- 何かが欠けている音声認識研究(第11回音声言語シンポジウム)
- 何かが欠けている音声認識研究(第11回音声言語シンポジウム)
- 講義音声認識における講義スライド情報の利用(Session-6 音声認識,第8回音声言語シンポジウム)
- 講義音声認識における講義スライド情報の利用
- 自由発話を対象とした対話システムの構築と評価
- 雑音下音声におけるスペクトル縮小の分析とその耐雑音音声認識への利用
- 機械翻訳データを用いた音声認識のための言語モデル適応(多言語, CSJ, 認識・理解・対話・一般)
- 音声自動要約を利用した講演速聞きシステムの検討(自然言語情報処理研究会と一部合同開催 : NL・SLP合同開催 : 音声対話1)
- 音声自動要約を利用した講演速聞きシステムの検討
- ウェアラブルコンピュータ環境における話者照合
- 日本語話し言葉コーパスを用いた話し言葉音声の音響的特徴の分析(音声言語情報処理一般)(テーマ:音声対話システム、音声言語情報処理、一般)
- 教師なしクロスバリデーション適応法の諸条件における評価
- 教師なしクロスバリデーション適応法の諸条件における評価
- 5X-8 User identification using Time-of-Flight camera image streams
- 言語モデルのバッチ型教師なし適応化法
- 雑音に頑健な音声認識のための韻律情報の利用(自然言語情報処理研究会と一部合同開催 : 自動車内音声対話関連)
- ハフ変換による雑音に頑健な基本周波数抽出法
- 雑音下音声におけるスペクトル縮小の分析とその耐雑音音声認識への利用(音声一般,聴覚・音声・言語とその障害/一般)
- Slice Chain Max-Sumアルゴリズムによるタンパク質のポテンシャルエネルギー最小化に関する研究
- 軽量な画像特徴量を用いたマルチモーダル音声認識(音声、聴覚,学生論文)
- 隠れマルコフモデルを用いた眼電位認識の研究(一般セッション,時系列パターン認識)
- 隠れマルコフモデルを用いた眼電位認識の研究(一般セッション,時系列パターン認識)