音声と手書き文字の同時入力インターフェース(マルチモーダル, コーパス・言語モデル)
スポンサーリンク
概要
- 論文の詳細を見る
「書きながら話す」「話しながら書く」という音声と手書き文字の同時入力インタフェースをマルチモーダル認識により実現する.音声のみの入力に比べ耐雑音性に優れ, 手書き文字のみの入力に比べ入力速度が大きいという特色をもつ.複数モードの統合方法として, 従来マルチモーダル認識に用いられてきた事前統合や事後統合ではなく, オンラインで統合を行いながらサーチを行う中間的な統合方式を採用する.これにより, 文・文章など比較的長い入力への対応が可能となり, 音声と手書き文字の同期のずれに対し頑健性が高くなることが期待される.本稿では, 音声認識の結果として出力された単語グラフにおける尤度に手書き文字認識の尤度を反映させる2パス処理を用いてその可能性を検証した.被験者ごとに同期のずれの補正を行うことにより, 音声のみの認識性能から単語正解精度で2.6ポイント改善した.
- 社団法人情報処理学会の論文
- 2005-05-26
著者
-
古井 貞煕
東京工業大学大学院情報理工学研究科計算工学専攻
-
篠田 浩一
東京工業大学情報理工学研究科計算工学専攻
-
篠田 浩一
東京工業大学
-
古井 貞煕
東京工業大学
-
小林 隆二
東京工業大学大学院情報理工学研究科計算工学専攻
-
中川 竜太
東京工業大学
-
小林 唯
東京工業大学
-
中川 竜太
長崎大学大学院 医歯薬学総合研究科
-
篠田 浩一
NEC情報通信メディア研究本部
関連論文
- 音声認識実用化技術の展開(総合報告)
- SIFT混合ガウス分布と音響特徴を用いた映像からの高次特徴検出(テーマセッション関連,一般物体認識・画像特徴量)
- WFST音声認識デコーダにおけるon-the-fly合成の最適化処理(音声,聴覚)
- 携帯端末上でのプロキシ編集(映像理論・映像システム,画像処理・符号化及び一般)
- パネル討論 : 音声言語関連大型プロジェクトの現状と将来
- 頑健な区間検出とモデル適応に基づく雑音下音声認識(雑音下音声処理)(第6回音声言語シンポジウム)
- 区分線形変換による雑音適応法のための木構造クラスタリング法の検討
- 区分線形変換による雑音適応法における木構造クラスタリング法の検討
- 尤度最大化規準による雑音適応
- 雑音重畳音声に対する各種適応手法の検討
- 話者クラスタに基づく初期モデルを用いた話者適応
- ニューラルネットワークを用いたHMMの雑音適応の研究
- F_0パターン生成モデルのための数量化I類の平均値置換による話者適応法の検討(感情音声,韻律,声質,音声生成・知覚,脳機能,一般)
- CHLAC特徴と隠れマルコフモデルを用いたGait認識(一般セッション2,複合現実感のためのパターン認識・理解)
- 統計的モデル選択によるシーン数の自動推定を用いた動画要約(一般セッション3,複合現実感のためのパターン認識・理解)
- 高精度音声認識のための教師なしクロスバリデーションおよび集合適応法の提案(認識)
- 耐雑音音声認識のためのハフ変換による基本周波数情報抽出の高速化
- WFST音声認識デコーダの高機能化とその応用 : on-the-fly合成法の検討(プラットフォーム)
- 言語理解・意味理解の先駆者田中穂積先生の想い出(9)
- 2009年春季研究発表会(研究発表会報告)
- 第4回日米音響学会ジョイントミーティング
- 話者照合におけるモデルとしきい値の更新法
- 編集にあたって(音声情報処理技術の最先端)
- 音声とペン入力の同時入力に対する認識方式の検討(認識・理解・対話・一般)
- 音声と手書き文字の同時入力インターフェース(マルチモーダル, コーパス・言語モデル)
- 混合主導型音声対話システムのための言語理解の検討(認識・理解・対話)
- 音声トランスクリプションのこれまでと今後の展望(音声情報処理 : 現状と将来技術論文特集)
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出(一般,First Person Visionのための認識・理解)
- 音声情報を統合したプレゼンテーションコンテンツ検索(情報検索,データ工学論文)
- 8 WFSTに基づくT^3音声認識デコーダ(音声認識技術の実用化への取り組み)
- 1 音声認識技術の実用化への取り組み(音声認識技術の実用化への取り組み)
- WFSTに基づくT[3]音声認識デコーダ (特集 音声認識技術の実用化への取り組み)
- 音響モデル学習のための相対エントロピーを用いた学習文選択
- 年齢推定のための音声特徴量および推定器の検討(音声・言語・音響教育,一般)
- 音声・非音声の信頼度を利用した雑音に頑健な音声認識デコーダの検討(音声・言語・音響教育,一般)
- 大規模映像資源のためのマルチモーダル高次特徴検出
- WFST音声認識デコーダの開発とその性能評価
- 音声と手書き文字の同時入力インターフェース(マルチモーダル, コーパス・言語モデル)
- 大規模映像資源のためのマルチモーダル高次特徴検出(画像・映像処理)
- 重要文抽出による音声自動要約手法とその客観評価法についての検討(要約, 検索, 認識・理解・対話・一般)
- マルチストリーム話者照合におけるブースティングに基づく閾値最適化法の検討(Session-1 音響モデル・特徴量・学習, 第7回音声言語シンポジウム)
- マルチストリーム話者照合におけるブースティングに基づく閾値最適化法の検討(Session-1 音響モデル・特徴量・学習, 第7回音声言語シンポジウム)
- マルチストリーム話者照合におけるブースティングに基づく閾値最適化法の検討(Session-1 音響モデル・特徴量・学習, 第7回音声言語シンポジウム)
- 雑音に頑健な話者照合のための基本周波数情報の利用(認識・理解・対話)
- 雑音に頑健な話者照合のための基本周波数情報の利用(認識・理解・対話)
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出(一般,First Person Visionのための認識・理解)
- 局所的な特徴と大局的な特徴を用いた監視カメラ映像からの行動イベント検出(一般,First Person Visionのための認識・理解)
- 木構造クラスタリングを用いた動画像からの高次特徴抽出(一般セッション1,文字・文書の認識・理解)
- D-14-7 手書き文字の準同期入力を併用した音声認識手法の予備検討(D-14. 音声・聴覚)
- 音声認識実用化技術の展開
- 連続数字音声における音響モデル学習法の検討
- SIFT混合ガウス分布を用いた一般物体認識のためのマルチカーネル学習(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- SIFT混合ガウス分布を用いた一般物体認識のためのマルチカーネル学習(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- WFST駆動音声認識デコーダの最近の評価結果(デコーダ,第11回音声言語シンポジウム)
- 講義講演シーン検索における音声データの利用(eラーニング1, 夏のデータベースワークショップDBWS2005)
- 講義講演シーン検索における音声データの利用(eラーニング1, 夏のデータベースワークショップ2005)
- 新聞記事を用いた大語彙連続音声認識の検討
- 音声と耳介画像を用いたマルチモーダル個人認証(認識・理解・対話)
- 音声の有無による違いを考慮したHome video簡易編集
- 共通日本語話し言葉コーパスの設計
- 隠れマルコフモデルを用いた野球放送の自動的インデクシング(顔・ジェスチャ認識のためのパターン認識メディア理解,一般)
- 隠れマルコフモデルを用いた野球放送の自動的インデクシング(顔・ジェスチャ認識のためのパターン認識メディア理解,一般)
- 会議音声認識のためのスペクトル減算に基づくオンライン音源分離(オーガナイズドセッション:スピーチエンハンスメント,音声,応用/電気音響,信号処理,及び一般)
- 会議音声認識のためのスペクトル減算に基づくオンライン音源分離(オーガナイズドセッション:スピーチエンハンスメント,音声,応用/電気音響,信号処理,及び一般)
- 超並列計算機を用いた入力音声の変動に頑健な音声対話システムの検討(Session-4 システム・言語モデル, 第7回音声言語シンポジウム)
- 超並列計算機を用いた入力音声の変動に頑健な音声対話システムの検討(Session-4 システム・言語モデル, 第7回音声言語シンポジウム)
- 超並列計算機を用いた入力音声の変動に頑健な音声対話システムの検討(Session-4 システム・言語モデル, 第7回音声言語シンポジウム)
- ニュース音声認識のための言語モデルと音響モデルの検討
- ニュース音声認識のための言語モデルと音響モデルの検討
- 実環境を考慮したマルチモーダル音声認識のためのストリーム重み最適化手法
- 実環境を考慮したマルチモーダル音声認識のためのストリーム重み最適化手法
- マルチモーダル音声認識におけるストリーム重み係数最適化の検討(第5回音声言語シンポジウム : ポスターセッション)
- マルチモーダル音声認識におけるストリーム重み係数最適化の検討(第5回音声言語シンポジウム : ポスターセッション)
- オプティカルフローを用いたマルチモーダル音声認識法の提案と評価
- オプティカルフローを用いたマルチモーダル音声認識法の提案と評価
- マルチストリームHMMを用いた特徴量の次元別重み付き話者照合の検討(音声認識・識別,第9回音声言語シンポジウム)
- マルチストリームHMMを用いた特徴量の次元別重み付き話者照合の検討(音声認識・識別,第9回音声言語シンポジウム)
- マルチストリームHMMを用いた特徴量の次元別重み付き話者照合の検討(音声認識・識別,第9回音声言語シンポジウム)
- 周波数帯域ごとの重みつき尤度を用いた雑音に頑健な音声認識(第5回音声言語シンポジウム : 耐雑音)
- 周波数帯域ごとの重みつき尤度を用いた雑音に頑健な音声認識(第5回音声言語シンポジウム : 耐雑音)
- 話し言葉音声の認識を目指して
- 話し言葉音声の認識を目指して
- 話し言葉音声の認識を目指して
- 尤度最大化規準による雑音適応
- HMM音声合成における自然性と個人性に優れた韻律モデル適応法の検討
- マルチモーダル音声認識におけるストリーム重みの教師なし推定法の検討
- 話し言葉音声合成の韻律制御に関する検討
- マルチモーダル音声認識におけるストリーム重みの教師なし推定法の検討
- 話し言葉音声合成の韻律制御に関する検討
- マルチモーダル音声認識におけるストリーム重みの教師なし推定法の検討
- 話し言葉音声合成の韻律制御に関する検討
- 対話システムへの利用を想定したマルチモーダル音声認識の検討
- HMMを用いた話し言葉音声合成のためのモデルの検討
- 講義音声認識における講義スライド情報の利用(Session-6 音声認識,第8回音声言語シンポジウム)
- 何かが欠けている音声認識研究(第11回音声言語シンポジウム)
- 新聞記事を用いた大語彙連続音声認識の検討
- 講義音声認識における講義スライド情報の利用(Session-6 音声認識,第8回音声言語シンポジウム)
- 講義音声認識における講義スライド情報の利用
- 談話理解における対話コンテキストに基づく非線形リスコアリング(認識・理解・対話)
- 談話理解における対話コンテキストに基づく非線形リスコアリング(認識・理解・対話)