対話システムへの利用を想定したマルチモーダル音声認識の検討
スポンサーリンク
概要
- 論文の詳細を見る
本研究では,マルチモーダル対話システムの構築を目指して,対話音声を対象とした,不特定話者マルチモーダル音声認識についての検討を行った.まず,男性話者25名による音声・動画像データベースを収集し,それを用いて認識システムの構築を行った.このシステムでは,マルチストリームHMMを用いて音響と画像情報を融合するが,この融合モデルの構築方法として,音響情報のみで学習したtriphone HMMの共有化構造を保存しながら,個別に学習された音響モデルと画像モデルを状態単位で融合する手法の提案を行った.評価実験の結果,様々な雑音条件で提案手法の有効性を確認した.また,用いる画像特微量について,オプティカルフローに基づく画像特徴量と主成分分析に基づく画像特徴量の比較を行った.その結果,オプティカルフローに基づく特徴量の方が良好な性能を示した.
- 社団法人電子情報通信学会の論文
- 2007-05-24
著者
-
古井 貞煕
東京工業大学大学院情報理工学研究科計算工学専攻
-
古井 貞煕
東京工業大学
-
岩野 公司
東京工業大学大学院情報理工学研究科計算工学専攻
-
岩野 公司
東京都市大学環境情報学部情報メディア学科
-
岩野 公司
東京大学 工学部
-
岩野 公司
東工大
-
岩野 公司
東京都市大学 環境情報学部 情報メディア学科
-
松尾 俊秀
東京工業大学大学院 情報理工学研究科 計算工学専攻
-
高山 俊輔
東京工業大学大学院情報理工学研究科計算工学専攻
-
松尾 俊秀
東京工業大学大学院情報理工学研究科計算工学専攻
-
岩野 公司
東京都市大学
関連論文
- 音声認識実用化技術の展開(総合報告)
- SIFT混合ガウス分布と音響特徴を用いた映像からの高次特徴検出(テーマセッション関連,一般物体認識・画像特徴量)
- WFST音声認識デコーダにおけるon-the-fly合成の最適化処理(音声,聴覚)
- 携帯端末上でのプロキシ編集(映像理論・映像システム,画像処理・符号化及び一般)
- パネル討論 : 音声言語関連大型プロジェクトの現状と将来
- 頑健な区間検出とモデル適応に基づく雑音下音声認識(雑音下音声処理)(第6回音声言語シンポジウム)
- 区分線形変換による雑音適応法のための木構造クラスタリング法の検討
- 区分線形変換による雑音適応法における木構造クラスタリング法の検討
- 尤度最大化規準による雑音適応
- 雑音重畳音声に対する各種適応手法の検討
- 話者クラスタに基づく初期モデルを用いた話者適応
- ニューラルネットワークを用いたHMMの雑音適応の研究
- F_0パターン生成モデルのための数量化I類の平均値置換による話者適応法の検討(感情音声,韻律,声質,音声生成・知覚,脳機能,一般)
- CHLAC特徴と隠れマルコフモデルを用いたGait認識(一般セッション2,複合現実感のためのパターン認識・理解)
- 統計的モデル選択によるシーン数の自動推定を用いた動画要約(一般セッション3,複合現実感のためのパターン認識・理解)
- 高精度音声認識のための教師なしクロスバリデーションおよび集合適応法の提案(認識)
- 耐雑音音声認識のためのハフ変換による基本周波数情報抽出の高速化
- WFST音声認識デコーダの高機能化とその応用 : on-the-fly合成法の検討(プラットフォーム)
- 言語理解・意味理解の先駆者田中穂積先生の想い出(9)
- 2009年春季研究発表会(研究発表会報告)
- 第4回日米音響学会ジョイントミーティング
- 話者照合におけるモデルとしきい値の更新法
- 編集にあたって(音声情報処理技術の最先端)
- 音声とペン入力の同時入力に対する認識方式の検討(認識・理解・対話・一般)
- 音声と手書き文字の同時入力インターフェース(マルチモーダル, コーパス・言語モデル)
- 混合主導型音声対話システムのための言語理解の検討(認識・理解・対話)
- 音声トランスクリプションのこれまでと今後の展望(音声情報処理 : 現状と将来技術論文特集)
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出(一般,First Person Visionのための認識・理解)
- 音声情報を統合したプレゼンテーションコンテンツ検索(情報検索,データ工学論文)
- 8 WFSTに基づくT^3音声認識デコーダ(音声認識技術の実用化への取り組み)
- 1 音声認識技術の実用化への取り組み(音声認識技術の実用化への取り組み)
- WFSTに基づくT[3]音声認識デコーダ (特集 音声認識技術の実用化への取り組み)
- 音響モデル学習のための相対エントロピーを用いた学習文選択
- 年齢推定のための音声特徴量および推定器の検討(音声・言語・音響教育,一般)
- 音声・非音声の信頼度を利用した雑音に頑健な音声認識デコーダの検討(音声・言語・音響教育,一般)
- 大規模映像資源のためのマルチモーダル高次特徴検出
- WFST音声認識デコーダの開発とその性能評価
- 音声と手書き文字の同時入力インターフェース(マルチモーダル, コーパス・言語モデル)
- 大規模映像資源のためのマルチモーダル高次特徴検出(画像・映像処理)
- 重要文抽出による音声自動要約手法とその客観評価法についての検討(要約, 検索, 認識・理解・対話・一般)
- マルチストリーム話者照合におけるブースティングに基づく閾値最適化法の検討(Session-1 音響モデル・特徴量・学習, 第7回音声言語シンポジウム)
- マルチストリーム話者照合におけるブースティングに基づく閾値最適化法の検討(Session-1 音響モデル・特徴量・学習, 第7回音声言語シンポジウム)
- マルチストリーム話者照合におけるブースティングに基づく閾値最適化法の検討(Session-1 音響モデル・特徴量・学習, 第7回音声言語シンポジウム)
- 雑音に頑健な話者照合のための基本周波数情報の利用(認識・理解・対話)
- 雑音に頑健な話者照合のための基本周波数情報の利用(認識・理解・対話)
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出(一般,First Person Visionのための認識・理解)
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出(一般,First Person Visionのための認識・理解)
- 木構造クラスタリングを用いた動画像からの高次特徴抽出(一般セッション1,文字・文書の認識・理解)
- D-14-7 手書き文字の準同期入力を併用した音声認識手法の予備検討(D-14. 音声・聴覚)
- 音声認識実用化技術の展開
- 連続数字音声における音響モデル学習法の検討
- SIFT混合ガウス分布を用いた一般物体認識のためのマルチカーネル学習(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- SIFT混合ガウス分布を用いた一般物体認識のためのマルチカーネル学習(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- WFST駆動音声認識デコーダの最近の評価結果(デコーダ,第11回音声言語シンポジウム)
- 講義講演シーン検索における音声データの利用(eラーニング1, 夏のデータベースワークショップDBWS2005)
- 講義講演シーン検索における音声データの利用(eラーニング1, 夏のデータベースワークショップ2005)
- 新聞記事を用いた大語彙連続音声認識の検討
- 音声と耳介画像を用いたマルチモーダル個人認証(認識・理解・対話)
- 音声の有無による違いを考慮したHome video簡易編集
- 共通日本語話し言葉コーパスの設計
- 隠れマルコフモデルを用いた野球放送の自動的インデクシング(顔・ジェスチャ認識のためのパターン認識メディア理解,一般)
- 隠れマルコフモデルを用いた野球放送の自動的インデクシング(顔・ジェスチャ認識のためのパターン認識メディア理解,一般)
- 会議音声認識のためのスペクトル減算に基づくオンライン音源分離(オーガナイズドセッション:スピーチエンハンスメント,音声,応用/電気音響,信号処理,及び一般)
- 会議音声認識のためのスペクトル減算に基づくオンライン音源分離(オーガナイズドセッション:スピーチエンハンスメント,音声,応用/電気音響,信号処理,及び一般)
- 超並列計算機を用いた入力音声の変動に頑健な音声対話システムの検討(Session-4 システム・言語モデル, 第7回音声言語シンポジウム)
- 超並列計算機を用いた入力音声の変動に頑健な音声対話システムの検討(Session-4 システム・言語モデル, 第7回音声言語シンポジウム)
- 超並列計算機を用いた入力音声の変動に頑健な音声対話システムの検討(Session-4 システム・言語モデル, 第7回音声言語シンポジウム)
- ニュース音声認識のための言語モデルと音響モデルの検討
- ニュース音声認識のための言語モデルと音響モデルの検討
- 実環境を考慮したマルチモーダル音声認識のためのストリーム重み最適化手法
- 実環境を考慮したマルチモーダル音声認識のためのストリーム重み最適化手法
- マルチモーダル音声認識におけるストリーム重み係数最適化の検討(第5回音声言語シンポジウム : ポスターセッション)
- マルチモーダル音声認識におけるストリーム重み係数最適化の検討(第5回音声言語シンポジウム : ポスターセッション)
- オプティカルフローを用いたマルチモーダル音声認識法の提案と評価
- オプティカルフローを用いたマルチモーダル音声認識法の提案と評価
- マルチストリームHMMを用いた特徴量の次元別重み付き話者照合の検討(音声認識・識別,第9回音声言語シンポジウム)
- マルチストリームHMMを用いた特徴量の次元別重み付き話者照合の検討(音声認識・識別,第9回音声言語シンポジウム)
- マルチストリームHMMを用いた特徴量の次元別重み付き話者照合の検討(音声認識・識別,第9回音声言語シンポジウム)
- 周波数帯域ごとの重みつき尤度を用いた雑音に頑健な音声認識(第5回音声言語シンポジウム : 耐雑音)
- 周波数帯域ごとの重みつき尤度を用いた雑音に頑健な音声認識(第5回音声言語シンポジウム : 耐雑音)
- 話し言葉音声の認識を目指して
- 話し言葉音声の認識を目指して
- 話し言葉音声の認識を目指して
- 尤度最大化規準による雑音適応
- HMM音声合成における自然性と個人性に優れた韻律モデル適応法の検討
- マルチモーダル音声認識におけるストリーム重みの教師なし推定法の検討
- 話し言葉音声合成の韻律制御に関する検討
- マルチモーダル音声認識におけるストリーム重みの教師なし推定法の検討
- 話し言葉音声合成の韻律制御に関する検討
- マルチモーダル音声認識におけるストリーム重みの教師なし推定法の検討
- 話し言葉音声合成の韻律制御に関する検討
- 対話システムへの利用を想定したマルチモーダル音声認識の検討
- HMMを用いた話し言葉音声合成のためのモデルの検討
- 講義音声認識における講義スライド情報の利用(Session-6 音声認識,第8回音声言語シンポジウム)
- 何かが欠けている音声認識研究(第11回音声言語シンポジウム)
- 新聞記事を用いた大語彙連続音声認識の検討
- 講義音声認識における講義スライド情報の利用(Session-6 音声認識,第8回音声言語シンポジウム)
- 講義音声認識における講義スライド情報の利用
- 談話理解における対話コンテキストに基づく非線形リスコアリング(認識・理解・対話)
- 談話理解における対話コンテキストに基づく非線形リスコアリング(認識・理解・対話)