同時複数話者の会話音声およびジェスチャのリアルタイム統合理解によるNovel Interface System
スポンサーリンク
概要
- 論文の詳細を見る
本稿では、人間と計算機の新しい対話形態,インタフェース・システムの提案を行う。本システムでは,マルチユーザによる音声とジェスチャのマルチモーダルな入力が可能で、これらの認識技術を統合することによって音声とジェスチャの同時かつ相補的な理解を実現する。さらに,システムの理解内容を合成音声と画像を通してリアルタイムにかつ漸次的にユーザにフィードバックすることによって、複数の人間と計算機との知的で、かつ豊かなコミュニケーションを実現する。本方式は、一種の思考の支援と考えることもでき,これを次世代のインタフェースと位置付ける。我々は,このインタフェースを実現するために、frame-wise and realtime spotting技術を用いて、複数話者による音声とジェスチャの同時認識/理解リアルタイム統合インタフェースシステムを試作した。
- 一般社団法人情報処理学会の論文
- 1995-07-20
著者
-
岡 隆一
新情報処理開発機構
-
小島 浩
新情報処理開発機構つくば研究センタ
-
張 建新
メディアドライブ株式会社
-
小島 浩
新情報処理開発機構:(現)新日本製鉄株式会社
-
関 進
新情報処理開発機構つくば研究センタ
-
伊藤 慶明
新情報処理開発機構:(現)川崎製鉄株式会社
-
木山 次郎
新情報処理開発機構
-
関 進
Rwcp マルチモーダル機能シャープ研究室 シャープ(株)avc研究所内
-
木山 次郎
RWCP マルチモーダル機能シャープ研究室 シャープ(株)AVC研究所内
関連論文
- マルチモーダルヒューマンインタフェースのノートパソコンへの実装
- マルチモーダルヒューマンインタフェースのノートパソコンへ実装
- ジェスチャ動作の動画像からのスポッティング認識について
- 会議音声データの収録とデータファイル化
- Non-monotonic連続DPによるスポッティングに基づく自律移動ロボットの時系列画像を用いた大局的位置の推定
- 2次元連続DPによる画像のスポッティング認識
- 全方位視覚センサを用いた大局的位置の推定
- ジェスチャ動画像の逆時間動作や静止動作をスポッティング認識するためのNon-monotonic連続DP
- タスクに依存しないモデルに基づいた動画像による実時間位置同定
- RWC研究用音楽データベース : 音楽ジャンルデータベースと楽器音データベース
- RWC研究用音楽データベース : ポピュラー音楽データベースと著作権切れ音楽データベース
- RWC研究用音楽データベース : クラシック音楽データベースとジャズ音楽データベース
- モデル依存傾斜制限型の連続DPを用いた鼻歌入力による楽曲信号のスポッティング検索
- 始端特徴依存連続DPを用いた鼻歌入力による楽曲信号のスポッティング検索の高速化
- 動き変化に基づくView-based Aspect Modelによる動作認識
- アクティブ探索法による時系列データ中の一致区間検出 : 参照区間自由時系列アクティブ探索法 (画像の認識・理解論文特集)
- 音素系列表現を用いた音声およびテキスト検索
- 1P1-N2 人のジェスチャ動作と移動ロボットの動きとのインタラクション対話(67. 3次元計測)
- 逐次フレーム入力されるクエリーによる時系列データの類似区間スポッティング検索
- 鼻歌による音楽検索と歌詞音声検索の統合処理の検討
- 動画像による人物動作・ジェスチャの教示
- ジェスチャ動画像の実時間認識システム
- ジェスチャー動画像のスポッティング認識
- 手作業の動画像による認識
- 走行ロボット動画像からのモーションシーンのスポッティング認識
- RWC研究用音楽データベース : 音楽ジャンルデータベースと楽器音データベース
- RWC研究用音楽データベース : ポピュラー音楽データベースと著作権切れ音楽データベース
- 時系列データからのネットワークモデルの教師なし学習方式 : Incremental Path Methodの提案
- 動画像の自己組織化ネットワークによるモデル化とその動的特徴の可視化 : Video Intra-structure Visualization
- 動画像の自己組織化ネットワークによるモデル化とその動的特徴の可視化 : Video Intra-structure Visualization
- 動画像の自己組織化ネットワークによるモデル化とその動的特徴の可視化 : Video Intra-structure Visualization
- 音声波形からの音素片記号系列を用いた音声要約と話題要約の検討
- 音声波形からの音素片記号系列を用いた音声要約と話題要約の検討
- 制約充足型意味ネットワーク処理のSIMD型並列計算機への実装
- Reference Interval-free連続DPを用いた自然な発話音声によるテキストおよび音声データベースのリアルタイム検索
- 自己組織化情報ベース機能領域(「RWC-実世界知能」)
- Reference Interval-Free連続DPを利用した移動ロボットの時系列画像による位置同定システム
- 時系列標準パターンの任意区間によるスポッティングのためのReference Interval-free連続DP (RIFCDP)
- Incremental Reference Interval-free連続DPによる任意話題音声の要約と話題境界検出
- 複数ユーザによる音声とジェスチャのマルチモーダルインタフェースシステム : Real-time GSIの一評価実験
- フレーム同期連続単語スポッティング方式Ladder CDP法の提案
- 音声要約のための統計的手法に基づく共通区間対検出
- 実時間処理で広がる音声・画像の認識インターフェース : 思考過程モデル化のための粒度自由・並列アーキテクチャー
- Reference Interval-free連続DPを利用した移動ロボットの動画像による位置同定
- 認識単位の粒度自由・並列アーキテクチャとその実現のためのReference Interval-free連続DP
- 対話におけるNon-categoricalチャネル幅の拡大とリアルタイムの入出力融合
- 同時複数話者の会話音声およびジェスチャのリアルタイム統合理解によるNovel Interface System
- Incremental Reference Interval-free連続DPを用いた任意話題音声の要約
- 標準パターンの任意区間によるスポッティングのためのReference Interval-free連続DP(RIFCDP)
- スポッティングに基づくTVニュース番組の音声対話理解と音声検索
- 文スポッティング音声認識における部分文認識と未知語処理方式
- RWC計画における音声対話データベースの構築
- 大規模自己組織化問題への非線形最適化クラスタリングの適用
- 非線形クラスタリングによるパターンの分類 : Galaxy Clustering Methodの提案
- ベイズ識別関数を利用した音素認識におけるメルケプストラムとスペクトルベクトル場の特徴比較
- 時系列パターンの検索手法
- 音声検索システムにおけるユーザモデルの自己組織化法による構成
- 音声によるテキスト検索について
- 新聞記事テキストデータからの断片的知識の連鎖の抽出
- 自然言語理解のための記号の空間配置とその統合方式
- ノイズに頑健なタスクモデルの自己組織化方式
- 対話タスクモデルのサンプル単語時系列からの自己組織化
- 音声データからの文書検索向けユーザモデルの自動獲得
- マルチモーダル対話モデルの自動作成
- タスク実行対話の単語時系列からのネットワーク表現タスクモデルの自動獲得方式
- 鼻歌による音楽検索と歌詞音声検索の統合処理の検討
- 鼻歌の旋律と歌詞をクエリーとする楽曲信号のスポッティング検索
- 音声データの自己組織化と音声検索システム
- マルチモーダルインタフェース
- 音声と動画像の自己組織化ネットワークによるデータ表現とスポッティング相互検索
- 音声の自己組織化ネットワークモデルとスポッティング認識
- 大規模Bigram-netの空間クラスタリングとそのテキスト検索への応用 : Bigram-net Galactic Spatialization
- ジェスチャ動画像の自己組織化ネットワークによるモデル化と要素動作の自動抽出
- 音声・話題要約における話題の分節の検討
- 音声検索による音声認識へのアプローチ
- マイクロフォンアレイを用いたCSCW用音声認識モジュール
- 音声検索に基づく連続音声認識
- マイクロフォンアレイを用いたCSCW向け音声認識モジュール : アクティブマイクロフォン
- 13)方向エッジを用いたジェスチャ認識(ヒューマンインフォメーション研究会)
- 動画像の実時間認識による移動ロボットのナビゲーション
- モデル依存の傾斜制限型をもつ連続DPによるハミングを用いた楽曲信号のスポッティング検索
- 単語群付き画像の分割クラスタリングによる未知画像からの関連単語推定
- IE2000-31 / PRMU2000-56 / MVE2000-60 単語と画像の双方向検索のための単語グループ化および画像特徴量抽出
- IE2000-31 / PRMU2000-56 / MVE2000-60 単語と画像の双方向検索のための単語グループ化および画像特徴量抽出
- IE2000-31 / PRMU2000-56 / MVE2000-60 単語と画像の双方向検索のための単語グループ化および画像特徴量抽出
- 画像による単語推定を用いたインターネット検索
- Galaxy Clustering によるメールの自動分類と自動返送
- 単語群付き画像の分割ベクトル量子化に基づく画像理解
- 単語群付き画像の分割ベクトル量子化に基づく画像理解
- 単語群付き画像の分割ベクトル量子化に基づく画像理解
- 単語群付き部分画像のベクトル量子化に基づく画像理解
- 画像とテキストの自己組織化データに基づく画像理解方式の提案
- 人のジェスチャ動作と移動ロボットの動きとのインタラクション対話
- 2A1-73-100 距離画像を用いた低解像度特徴によるジェスチャのスポッティング認識
- 距離画像を用いた移動人物のジェスチャのスポッティング認識
- 距離画像を用いた低解像度特徴によるジェスチャのスポッティング認識
- Non-monotonic連続DPによるスポッティングに基づく移動ロボットの時系列画像を用いた大局的位置の推定(動画像処理論文特集)
- 動作者適応のためのオンライン教示可能なジェスチャ動画像のスポッティング認識システム(動画像処理論文特集)
- 動作者適応のためのオンライン教示可能なジェスチャ動画像のスポッティング認識システム
- 連続DPへの非単調性導入によるジェスチャ動画像からの戸惑い動作のスポッティング認識