軽量な画像特徴量を用いたマルチモーダル音声認識(音声、聴覚,<特集>学生論文)
スポンサーリンク
概要
- 論文の詳細を見る
音声と動画のマルチモーダル音声認識は,音声のみを用いた場合と比較して高い認識性能が期待される手法であり,これまでの研究で雑音環境下での音声認識に有効であることが示されている.また画像特徴量として,様々なものが提案されている.しかしこれまでは認識性能に注意が向けられ,ポータブル機器等において重要な計算量に注目した研究はほとんど存在しない.実際,代表的な画像特徴量であるオプティカルフローや主成分分析に基づいた手法では,音響特徴量の計算と比べ計算量がかなり大きい.そこで本研究では,計算量と認識性能のバランスに優れた特徴量について検討を行った.発話区間検出を目的として提案された低輝度画素数に着目した特徴量を多次元に拡張し,マルチモーダル音声認識に応用する.実験ではビデオカメラで収録したデータとともにiPhone4で収録したデータを用い,提案輝度特徴量が計算量が少なくどの環境においても認識性能の向上に有効であることを示す.
- 2012-03-01
著者
-
古井 貞煕
東京工業大学
-
古井 貞煕
東工大
-
古井 貞熙
東京工業大学大学院情報理工学研究科計算工学専攻
-
岩野 公司
東京工業大学大学院情報理工学研究科計算工学専攻
-
岩野 公司
東京都市大学環境情報学部情報メディア学科
-
岩野 公司
東京大学 工学部
-
岩野 公司
東工大
-
古井 貞熙
東京工業大学大学院情報理工学研究科:国立国語研究所
-
篠崎 隆宏
ワシントン州立ワシントン大学
-
岩野 公司
東京都市大学 環境情報学部 情報メディア学科
-
篠崎 隆宏
東京工業大学
-
吉川 正祥
東京工業大学大学院情報理工学系研究科計算工学専攻
-
岩野 公司
東京都市大学
関連論文
- 音声認識実用化技術の展開(総合報告)
- SIFT混合ガウス分布と音響特徴を用いた映像からの高次特徴検出(テーマセッション関連,一般物体認識・画像特徴量)
- WFST音声認識デコーダにおけるon-the-fly合成の最適化処理(音声,聴覚)
- 携帯端末上でのプロキシ編集(映像理論・映像システム,画像処理・符号化及び一般)
- パネル討論 : 音声言語関連大型プロジェクトの現状と将来
- 区分線形変換による雑音適応法のための木構造クラスタリング法の検討
- プロダクト・オブ・エキスパートを用いた話者識別
- F_0パターン生成モデルのための数量化I類の平均値置換による話者適応法の検討(感情音声,韻律,声質,音声生成・知覚,脳機能,一般)
- CHLAC特徴と隠れマルコフモデルを用いたGait認識(一般セッション2,複合現実感のためのパターン認識・理解)
- 統計的モデル選択によるシーン数の自動推定を用いた動画要約(一般セッション3,複合現実感のためのパターン認識・理解)
- 高精度音声認識のための教師なしクロスバリデーションおよび集合適応法の提案(認識)
- 耐雑音音声認識のためのハフ変換による基本周波数情報抽出の高速化
- WFST音声認識デコーダの高機能化とその応用 : on-the-fly合成法の検討(プラットフォーム)
- 言語理解・意味理解の先駆者田中穂積先生の想い出(9)
- 2009年春季研究発表会(研究発表会報告)
- 第4回日米音響学会ジョイントミーティング
- 話者照合におけるモデルとしきい値の更新法
- 4)話者認識研究の現状と展望([マルチメディア情報処理研究会 ネットワーク映像メディア研究会]合同)
- 話者認識研究の現状と展望
- テキスト指定型話者認識
- 話者認識におけるモデルとしきい値の更新法の検討
- 合成HMMによる環境適応型話者認識法
- 音韻・話者独立モデルによる話者照合尤度の正規化
- VQ ひずみ,離散/連続 HMM によるテキスト独立形話者認識法の比較検討
- 話者認識技術 (音声認識の最新技術)
- 音源・声道特徴を用いたテキスト独立形話者認識
- 編集にあたって(音声情報処理技術の最先端)
- 音声とペン入力の同時入力に対する認識方式の検討(認識・理解・対話・一般)
- 東京工業大学における質問応答システムの研究概要(Session-7 システム,第8回音声言語シンポジウム)
- 音声と手書き文字の同時入力インターフェース(マルチモーダル, コーパス・言語モデル)
- 混合主導型音声対話システムのための言語理解の検討(認識・理解・対話)
- 音声情報を統合したプレゼンテーションコンテンツ検索(情報検索,データ工学論文)
- 8 WFSTに基づくT^3音声認識デコーダ(音声認識技術の実用化への取り組み)
- 1 音声認識技術の実用化への取り組み(音声認識技術の実用化への取り組み)
- 音響モデル学習のための相対エントロピーを用いた学習文選択
- 年齢推定のための音声特徴量および推定器の検討(音声・言語・音響教育,一般)
- 音声・非音声の信頼度を利用した雑音に頑健な音声認識デコーダの検討(音声・言語・音響教育,一般)
- 4)話者認識研究の現状と展望([マルチメディア情報処理研究会 ネットワーク映像メディア研究会]合同)
- 話者照合におけるモデルとしきい値の更新法
- WFST音声認識デコーダの開発とその性能評価
- 音声と手書き文字の同時入力インターフェース(マルチモーダル, コーパス・言語モデル)
- 大規模映像資源のためのマルチモーダル高次特徴検出(画像・映像処理)
- 重要文抽出による音声自動要約手法とその客観評価法についての検討(要約, 検索, 認識・理解・対話・一般)
- マルチストリーム話者照合におけるブースティングに基づく閾値最適化法の検討(Session-1 音響モデル・特徴量・学習, 第7回音声言語シンポジウム)
- マルチストリーム話者照合におけるブースティングに基づく閾値最適化法の検討(Session-1 音響モデル・特徴量・学習, 第7回音声言語シンポジウム)
- マルチストリーム話者照合におけるブースティングに基づく閾値最適化法の検討(Session-1 音響モデル・特徴量・学習, 第7回音声言語シンポジウム)
- 雑音に頑健な話者照合のための基本周波数情報の利用(認識・理解・対話)
- 雑音に頑健な話者照合のための基本周波数情報の利用(認識・理解・対話)
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出(一般,First Person Visionのための認識・理解)
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出(一般,First Person Visionのための認識・理解)
- 木構造クラスタリングを用いた動画像からの高次特徴抽出(一般セッション1,文字・文書の認識・理解)
- D-14-7 手書き文字の準同期入力を併用した音声認識手法の予備検討(D-14. 音声・聴覚)
- 連続数字音声における音響モデル学習法の検討
- SIFT混合ガウス分布を用いた一般物体認識のためのマルチカーネル学習(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- SIFT混合ガウス分布を用いた一般物体認識のためのマルチカーネル学習(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- 講義講演シーン検索における音声データの利用(eラーニング1, 夏のデータベースワークショップDBWS2005)
- 講義講演シーン検索における音声データの利用(eラーニング1, 夏のデータベースワークショップ2005)
- 新聞記事を用いた大語彙連続音声認識の検討
- 音声と耳介画像を用いたマルチモーダル個人認証(認識・理解・対話)
- 音声の有無による違いを考慮したHome video簡易編集
- 共通日本語話し言葉コーパスの設計
- 隠れマルコフモデルを用いた野球放送の自動的インデクシング(顔・ジェスチャ認識のためのパターン認識メディア理解,一般)
- 隠れマルコフモデルを用いた野球放送の自動的インデクシング(顔・ジェスチャ認識のためのパターン認識メディア理解,一般)
- 会議音声認識のためのスペクトル減算に基づくオンライン音源分離(オーガナイズドセッション:スピーチエンハンスメント,音声,応用/電気音響,信号処理,及び一般)
- 会議音声認識のためのスペクトル減算に基づくオンライン音源分離(オーガナイズドセッション:スピーチエンハンスメント,音声,応用/電気音響,信号処理,及び一般)
- 超並列計算機を用いた入力音声の変動に頑健な音声対話システムの検討(Session-4 システム・言語モデル, 第7回音声言語シンポジウム)
- 超並列計算機を用いた入力音声の変動に頑健な音声対話システムの検討(Session-4 システム・言語モデル, 第7回音声言語シンポジウム)
- 超並列計算機を用いた入力音声の変動に頑健な音声対話システムの検討(Session-4 システム・言語モデル, 第7回音声言語シンポジウム)
- ニュース音声認識のための言語モデルと音響モデルの検討
- ニュース音声認識のための言語モデルと音響モデルの検討
- 実環境を考慮したマルチモーダル音声認識のためのストリーム重み最適化手法
- マルチモーダル音声認識におけるストリーム重み係数最適化の検討(第5回音声言語シンポジウム : ポスターセッション)
- マルチモーダル音声認識におけるストリーム重み係数最適化の検討(第5回音声言語シンポジウム : ポスターセッション)
- オプティカルフローを用いたマルチモーダル音声認識法の提案と評価
- オプティカルフローを用いたマルチモーダル音声認識法の提案と評価
- マルチストリームHMMを用いた特徴量の次元別重み付き話者照合の検討(音声認識・識別,第9回音声言語シンポジウム)
- マルチストリームHMMを用いた特徴量の次元別重み付き話者照合の検討(音声認識・識別,第9回音声言語シンポジウム)
- マルチストリームHMMを用いた特徴量の次元別重み付き話者照合の検討(音声認識・識別,第9回音声言語シンポジウム)
- 周波数帯域ごとの重みつき尤度を用いた雑音に頑健な音声認識(第5回音声言語シンポジウム : 耐雑音)
- 周波数帯域ごとの重みつき尤度を用いた雑音に頑健な音声認識(第5回音声言語シンポジウム : 耐雑音)
- 話し言葉音声の認識を目指して
- 話し言葉音声の認識を目指して
- 話し言葉音声の認識を目指して
- マルチモーダル音声認識におけるストリーム重みの教師なし推定法の検討
- 話し言葉音声合成の韻律制御に関する検討
- マルチモーダル音声認識におけるストリーム重みの教師なし推定法の検討
- 話し言葉音声合成の韻律制御に関する検討
- 対話システムへの利用を想定したマルチモーダル音声認識の検討
- HMMを用いた話し言葉音声合成のためのモデルの検討
- 講義音声認識における講義スライド情報の利用(Session-6 音声認識,第8回音声言語シンポジウム)
- ハイブリッドモデルに基づく単視点ビデオデータにおける人間の歩行動作のトラッキング
- 新聞記事を用いた大語彙連続音声認識の検討
- 講義音声認識における講義スライド情報の利用(Session-6 音声認識,第8回音声言語シンポジウム)
- 講義音声認識における講義スライド情報の利用
- 談話理解における対話コンテキストに基づく非線形リスコアリング(認識・理解・対話)
- 談話理解における対話コンテキストに基づく非線形リスコアリング(認識・理解・対話)
- 話し言葉コーパスを用いた音声認識の検討
- 雑音下音声におけるスペクトル縮小の分析とその耐雑音音声認識への利用
- 機械翻訳データを用いた音声認識のための言語モデル適応(多言語, CSJ, 認識・理解・対話・一般)
- 音声自動要約を利用した講演速聞きシステムの検討