マルチモーダル音声言語処理とその応用(マルチモーダル)
スポンサーリンク
概要
- 論文の詳細を見る
人間がコミュニケーションの状況において,ある意図を表出する際には,いろいろなモダリティの情報がそれぞれ相関をもって発信される.聞き手は,このマルチモーダルな情報を利用し状況に応じて,より正確にあるいはより頑健に相手の意図をくみ取る.現在のヒューマンマシンインタフェース,コミュニケーションシステムの研究では,主として音声認識や音声合成を軸とするテキストレベルの情報を扱うものが多い.しかし,このような人間のマルチモーダルの情報表出,情報獲得メカニズムを模倣することが出来れば,機械にもより正確により頑健に意図を理解する仕組みを入れ込むことが出来る.本稿では,著者らがこれまで進めてきた音声と口の画像情報の相関,同期性のモデル化とその応用に関する研究について紹介する.
- 社団法人電子情報通信学会の論文
- 2008-11-13
著者
-
中村 哲
独立行政法人情報通信研究機構:(株)atr音声言語コミュニケーション研究所
-
中村 哲
情報通信研究機構
-
中村 哲
(独)情報通信研究機構
-
中村 哲
Atr音声口語コミュニケーション研究所
-
中村 哲
独立行政法人情報通信研究機構|株式会社国際電気通信基礎技術研究所
関連論文
- A-16-18 Blendshapesによるリップシンクアニメーションのためのキーフレーム削除法(A-16.マルチメディア・仮想環境基礎,一般講演)
- 京都観光案内対話コーパスにおける対話行為タグの設計と分析(理解)
- 同調的対話システム構築のための音声対話コーパスの構築(「ユニバーサルコミュニケーションを実現するための言語処理技術」シンポジウム)
- 携帯型端末を用いた音声自動翻訳システムとフィールド実験(モバイルと放送の融合時代を迎えて(1セグ放送, モバイル放送, 携帯放送融合サービス, 1セグ対応携帯端末, モバイルコンテンツと放送コンテンツの融合, マルチメディア配信, ディジタル放送受信機, および一般))
- NICT知識創成コミュニケーション研究センターの研究と高度言語情報融合フォーラム(ALAGIN)の活動について(Web情報処理,Webとデータベースに関する技術報告)
- 雑音下音声認識評価ワーキンググループ活動報告 : 認識に影響する要因の個別評価環境(3)(SIG-SLP内組織の活動報告)
- 雑音下音声認識評価ワーキンググループ活動報告 : 認識に影響する要因の個別評価環境(2)(雑音・VAD,第9回音声言語シンポジウム)
- 雑音下音声認識評価ワーキンググループ活動報告 : 認識に影響する要因の個別評価環境 (2)(雑音・VAD,第9回音声言語シンポジウム)
- 雑音下音声認識評価ワーキンググループ活動報告 : 認識に影響する要因の個別評価環境(第8回音声言語シンポジウム)
- 雑音下音声認識評価ワーキンググループ活動報告 : 認識に影響する要因の個別評価環境(Session-1 検出,第8回音声言語シンポジウム)
- バイモーダル音声認識における音素境界を越えた同期性のモデル
- 音声翻訳システムの研究開発
- 音声認識における頑健性 : 音響分析・音響モデル,なにが課題か(企画)
- NICTにおける音声・言語研究拠点MASTARプロジェクトについて(「ユニバーサルコミュニケーションを実現するための言語処理技術」シンポジウム)
- 音声翻訳単位の推定における句読点情報の効果(ドキュメント処理・翻訳・言語獲得,第10回音声言語シンポジウム)
- 多チャンネル三次元音場再現システムの再生方式の違いによる再現性能評価
- マルチモーダル音声言語処理とその応用(マルチモーダル)
- 音声翻訳研究20年の夜明け : 受賞業績 携帯電話によるネットワーク型コーパスベース音声翻訳システムの構築(平成19年度喜安記念業績賞紹介)
- 同時通訳者の知識と韻律情報を用いた講演文章のチャンキング(チャンキング・要約)
- 2D-5 多言語音声翻訳基盤の通信インタフェースの検討と構築(音声対話・翻訳,一般セッション,人工知能と認知科学)
- ストーリへの没入感を実現するダイブイントゥザムービープロジェクト(テーマ関連/オーガナイズドセッション)
- ストーリへの没入感を実現するダイブイゥザムービープロジェクト(オーガナイズドセッション,CV/PR技術のVRへの応用)
- 5.効率的アニメ制作支援のための3次元CG技術(情報技術が支えるアートとコンテンツの世界)
- NICTにおけるユニバーサルコミュニケーションのための音声言語研究(研究動向を探るセッション)
- CENSREC-1-C : 雑音下音声区間検出評価基盤の構築
- HMM/BN音響モデルの設計と実装(国際ワークショップ"Beyond HMM")
- 連続音声認識候補受理/リジェクションのためのワードスポッティング仮説検証手法(第5回音声言語シンポジウム : システム・信頼度)
- 統計的対話モデルを用いたWFSTに基づく音声対話システム
- 同調的対話を実現するプロトタイプシステムの開発(対話・インタフェース・インタラクション)
- SLP雑音下音声認識評価WG活動報告 : 評価用データと評価手法について(Session-6 スペシャルセッション: 共通コーパスを利用した耐雑音技術評価, 第7回音声言語シンポジウム)
- ATR実環境雑音DB-ATRANS-を用いた雑音重畳音声認識実験(耐雑音)
- 実走行車内単語音声データベースCENSREC-3と共通評価環境の構築
- CENSREC-3 : 実走行車内単語音声データベースと評価環境の構築(ポスターセッション)(第6回音声言語シンポジウム)
- 実環境下音声認識の評価の標準化とその動向(音声・言語における標準化動向)(第6回音声言語シンポジウム)
- 分散型認識システムでのデータ補完に関する一検討
- 歩行者支援GISにおける音声入力インタフェースの検討(福祉と言語処理/一般)
- 2 ここまできた音声翻訳技術(多言語自動通訳技術の実現に向けて)
- 音声翻訳研究の展開(機械翻訳)
- 翻訳可能なフレーズを単位とした音声認識結果の信頼度評価
- D-14-6 次世代情報家電への音声インタフェースの導入に関する検討(D-14.音声・聴覚,一般講演)
- 連続音声認識候補受理/リジェクションのためのワードスポッティング仮説検証手法(第5回音声言語シンポジウム : システム・信頼度)
- 音声翻訳単位の推定における句読点情報の効果(ドキュメント処理・翻訳・言語獲得,第10回音声言語シンポジウム)
- 音声翻訳単位の推定における句読点情報の効果(ドキュメント処理・翻訳・言語獲得,第10回音声言語シンポジウム)
- 来場者の声の特徴を反映する映像エンタテインメントシステムのための台詞音声生成システム
- iFACe:デジタルアニメ声優体験システム
- 携帯型端末を用いた音声自動翻訳システムとフィールド実験
- 雑音下音声認識評価ワーキンググループ活動報告 : 認識に影響する要因の個別評価環境(2)(雑音・VAD,第9回音声言語シンポジウム)
- 個人の音声を反映する映像エンタテインメントシステム
- Oriental COCOSDA : 音声データベースおよび音声入出力システム評価国際協調委員会東アジア部会について(一般セッション「音声言語処理」)
- Oriental COCOSDA : 音声データベースおよび音声入出力システム評価国際協調委員会東アジア部会について(一般セッション「音声言語処理」)
- QAシステムのための音声入力インターフェース
- 音声認識の信頼度・複数候補を利用したWFST対話システムの評価
- 雑音下マルチモーダル音声認識評価基盤CENSREC-1-AVの構築
- 相談型対話のモデル化と対話戦略の最適化
- 音声認職の信頼度・複数候補を利用したWFST対話システムの評価
- HMM/BN音響モデルの設計と実装
- HMM/BN音響モデルの設計と実装(国際ワークショップ"Beyond HMM")
- HMM/BN音響モデルの設計と実装(国際ワークショップ"Beyond HMM")
- ハイブリッドHMM/BNモデルに基づいた調音特徴とスペクトル特徴の統合
- ハイブリッドHMM/BNモデルに基いた大語彙音声認識システム
- ハイブリッドHMM/BNモデルに基いた大語彙音声認識システム
- ベイジアンネットとジャンクションツリー分解を用いて知識を組み込んだ統計的音響モデル(第8回音声言語シンポジウム)
- ベイジアンネットとジャンクションツリー分解を用いて知識を組み込んだ統計的音響モデル(Session-5 特徴量・音響モデル,第8回音声言語シンポジウム)
- ベイジアンネットとジャンクションツリー分解を用いて知識を組み込んだ統計的音響モデル(Session-5 特徴量・音響モデル,第8回音声言語シンポジウム)
- マルチモーダル音声認識のための顔検出
- マルチモーダル音声認識のための顔検出
- 調音運動ダイナミクスの音声認識への応用(聴覚・音声/一般)
- F0パターンの自動推定と目標点の抽出(Session-4 一般(ポスターセッション),第8回音声言語シンポジウム)
- F0パターンの自動推定と目標点の抽出(Session-4 一般(ポスターセッション),第8回音声言語シンポジウム)
- 新映像技術「ダイブイントゥザムービー」
- 音場の局所化技術を応用した指向性スピーカシステムの試作と評価
- 音声認識と音声翻訳の国際的共通評価基盤構築に向けて
- 音声翻訳技術の動向
- 新映像技術「ダイブイントゥザムービー」
- 意志決定を支援する音声対話システムの構築と評価
- 雑音DBを用いたモデル適応化HMMのSN比別マルチパスモデルによる雑音下音声認識
- 言葉の壁を越える音声翻訳技術
- 言語獲得ロボットによる発話理解確率の推定に基づく物体操作対話
- Web時代の音声・言語技術
- ユーザの相づち・うなずきを喚起する音声対話システム(対話生成,人とエージェントのインタラクション論文)
- 同時性を考慮した音声翻訳システムの検討
- Massive AI時代の音声・言語技術(ビッグデータとAI)
- 全国音声翻訳実証実験の実施と実利用データを用いた音声認識のモデル適応(音声,聴覚)
- 誤り単語の視覚・聴覚提示における事象関連電位による違和感分析
- 27aHC-3 マインツ大学におけるハイパー核生成実験のためのK^+中間子弁別用エアロジェルチェレンコフ検出器の開発(27aHC 実験核物理領域,理論核物理領域合同 ハイパー核・ストレンジネス・中間子生成・ハドロン構造(合同),実験核物理領域)
- 27aHC-2 MAMI-Cにおけるハイパー核崩壊パイ中間子スペクトロスコピーの現状と展望(27aHC 実験核物理領域,理論核物理領域合同 ハイパー核・ストレンジネス・中間子生成・ハドロン構造(合同),実験核物理領域)
- 26aHC-3 MPPCを用いたシンチレーション検出器読み出し回路の開発(26aHC 実験核物理領域,素粒子実験領域合同 測定器(I)(合同),実験核物理領域)
- 26aHC-2 NKS2実験に用いる新光子標識化装置の開発(26aHC 実験核物理領域,素粒子実験領域合同 測定器(I)(合同),実験核物理領域)
- 27aHC-1 高品質電子線を用いたΛ粒子生成の研究(27aHC 実験核物理領域,理論核物理領域合同 ハイパー核・ストレンジネス・中間子生成・ハドロン構造(合同),実験核物理領域)
- 音声言語情報処理研究会の20年-歴代主査による研究レビュー-
- 2-4 話し言葉の音声翻訳技術(2.携帯電話の聞く技術,携帯電話の聞く・聞かせる技術)
- 多言語音声翻訳システム"VoiceTra"の構築と実運用による大規模実証実験(音声,聴覚,システム開発論文)
- 説得対話システムにおける話題誘導に基づく対話制御(言語モデル・音声対話)
- 対話システムにおける単語間の関係性を用いた話題誘導応答文生成(言語モデル・音声対話)
- HMM音声合成における分散共有フルコンテキストモデルによるF0パターン生成(一般セッション,音声・言語・対話,一般)
- 23aSA-3 JLabにおける中重ラムダハイパー核分光研究(ハイパー核(II)(合同),実験核物理領域,理論核物理領域合同,実験核物理領域)
- 非言語情報読み取りスキルを用いた自閉症スペクトラム指数の測定(発達障害,メディア・コミュニケーションの品質と福祉,及び一般)
- 非言語情報読み取りスキルを用いた自閉症スペクトラム指数の測定(発達障害,メディア・コミュニケーションの品質と福祉,及び一般)
- 非言語情報読み取りスキルを用いた自閉症スペクトラム指数の測定(発達障害,メディア・コミュニケーションの品質と福祉,及び一般)
- 非言語情報読み取りスキルを用いた自閉症スペクトラム指数の測定(発達障害,メディア・コミュニケーションの品質と福祉,及び一般)