マルチモーダル対話における発話文との統合を考慮したジェスチャ解析に関する一考察
スポンサーリンク
概要
- 論文の詳細を見る
小学校1年生の算数のドリルテキストを対象とし, 人間との対話を用いて問題解決を行うシステムの構築に取り組んでいる.人間はペンを利用したジェスチャと発話を通じて問題解決のための知識を教示していく.本論文では, このようなシステムにおけるジェスチャ認識の手法について述べる.マルチモーダル対話においては, ジェスチャと言語との統合が重要な課題となるが, 本手法では, 言語情報を主体としたジェスチャ解析による統合を試みる.まず, 対話中に行われる図形操作を格構造で記述した図形操作表現フレームを定義する.そして教師の発話文解析によって得られた結果をその表現フレームを用いて記述する.この表現フレームを参照しながら行なわれているジェスチャの選択を行ない, 動画像データとして得られたジェスチャの解析を行なう.そして発話文の意味表現と解析結果とを照合することにより解釈を行なうというものである.
- 社団法人電子情報通信学会の論文
- 1998-12-18
著者
-
賀川 経夫
大分大学工学部
-
遠藤 勉
大分大学工学部
-
賀川 経夫
大分大学工学部知能情報システム工学科
-
遠藤 勉
九州工業大学大学院情報工学研究院知能情報工学研究系
-
吉岡 朋美
大分大学工学部知能情報システム工学科
-
阿部 慎也
大分大学工学部知能情報システム工学科
関連論文
- 3つの異なる種類の音声認識器を利用した照応解析 (言語理解とコミュニケーション)
- 部分特徴を用いた顔領域検出と顔画像の認識
- 領域の分割・併合に関する一手法 : ニューラルネットワークによる領域併合判定
- 表からの特徴抽出処理 : 他種類データへの適用
- 入力質問文を用いた動的な持徴抽出処理
- 表層的な情報を用いた画像の内容特定と分類
- 対話型ロボットのための複数の音声認識器を利用した発話理解
- 1S-3 タグ付けツールによる評判情報コーパスの作成支援(情報検索・評価分析,学生セッション,人工知能と認知科学)
- J-011 触力覚提示を利用する画像処理ツールに関する考察(ヒューマンコミュニケーション&インタラクション,一般論文)
- 免疫機構に基づく直観型グラフィックス画像作成支援システム
- 触覚デバイスを併用する画像処理ツールの開発
- 免疫機構に基づく直観型グラフィックス画像作成支援システム(高精細画像の処理・表示,及び一般)
- 触覚デバイスを併用する画像処理ツールの開発(高精細画像の処理・表示,及び一般)
- LK_001 混成型遠隔力覚共有システムの開発と評価(K分野:ヒューマンコミュニケーション&インタラクション)
- LJ_005 配色をインタラクティブに反映するデザイン支援ツール(J分野:グラフィクス・画像)
- 対話型進化計算に基づく3次元物体触感の生成法(人間要素を取り込む計算知能)
- 触力覚デバイスを用いたテクスチャ特徴の解析に関する一検討 (第11回知能メカトロニクスワークショップ講演論文集) -- (アプリケーション)
- 触覚デバイスを併用する画像処理ツールの開発
- 対話型進化計算に基づく3次元CG創作支援技術
- フーリエ級数を利用した3次元データ表現法とその応用 : 2次元画像フィルタによる3次元モデル造形法(コンピユータグラフィックス)(「インタラクション:理論,技術,応用,評価」)
- 陶磁研究に役立つ発想支援システムの考察 : 柴田コレクション作品画像の特徴抽出と陶磁研究への応用
- 配色に基づくデザイン支援ツールに関する一考察
- 焼き物データベースにおける検索手法の考察 : 柴田コレクションにおける皿の形状検索
- テキストを対象とした発話に伴うペン操作の解析に関する一検討
- ペンを利用したマルチモーダル対話におけるペン操作の生成
- ペンを利用したマルチモーダル対話におけるペン動作生成の一検討
- ペンを利用したマルチモーダル対話におけるペン動作生成の一検討
- 対話支援型問題解決システムにおける発話文生成機構と文脈処理
- SVMと逐次学習を併用したHOG特徴による手形状認識手法(テーマ関連,顔・人物・ジェスチャ・行動)
- 顔特徴とコンテキスト情報に基づく顔の隠れに頑健な人物識別(テーマ関連,顔・人物・ジェスチャ・行動)
- SVMと逐次学習を併用したHOG特徴による手形状認識手法(テーマ関連,顔・人物・ジェスチャ・行動)
- 顔特徴とコンテキスト情報に基づく顔の隠れに頑健な人物識別(テーマ関連,顔・人物・ジェスチャ・行動)
- 関連性理論を適用した照応解析 -先行詞に関する考察-
- 5T-3 対話型ロボットのための口領域動画像と音情報に基づく発話推定(顔認識,学生セッション,人工知能と認知科学)
- 関連性理論を適用した照応解析--先行詞に関する考察 (言語理解とコミュニケーション)
- 表の属性と属性値の関係を利用した類義語抽出(自然言語処理)
- E_010 対話履歴と事例に基づく発話意図の推定(E分野:自然言語)
- E_004 単語の属性名らしさを利用したWeb上の表の構造認識(E分野:自然言語)
- 複数の分類結果の信頼度を利用したレビュー記事の自動分類 (テーマ:特集「ウェブデータの知的処理」および一般)
- SVMおよび Transductive SVM を用いた製品スペック情報の抽出
- 関連性理論を用いた発話解釈手法 : 関連性が最大の表意の生成(人間による言語理解・言語処理)
- G-003 キーワード抽出に基づく統計的音声発話理解(G.音声・音楽)
- 関連性理論を用いた発話解釈手法の提案
- WWWからの性能表抽出のためのキーワード獲得と重み付け
- WWWからの性能表抽出のためのキーワード獲得と重み付け
- E-010 クラスタリングを利用した評価文のアスペクト推定(E分野:自然言語・音声・音楽,一般論文)
- 3つの異なる種類の音声認識器を利用した照応解析
- 2ZF-6 複数の音声認識器とマーカを用いたマルチモーダルインターフェース(入出力インタフェース,学生セッション,インタフェース,情報処理学会創立50周年記念)
- 3U-4 階層化された複数の音声認識器を選択的に利用する音声理解手法(音声認識・理解,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 関連性理論を適用した照応解析 : 先行詞に関する考察
- 対話に基づく初等数学の問題解決手法
- 言語情報を用いた図形操作の解釈に関する一考察
- 対話における発話と指示操作との協調理解
- 問題解決過程における対話の分析
- 対話支援型問題解決のための文脈情報処理 (第二言語の学習支援--母国語以外の文字・音声言語の習得を支援する方法とシステム)
- 特徴化された表データからの要約文生成処理
- マルチスペクトルレンジファインダのキャリブレーションに関する検討
- マルチモーダル対話における発話文生成とジェスチャ生成に関する一考察
- マルチモーダル対話における背景要素との関係構造に基づくジェスチャ解析の一手法
- 製品性能表からの特徴データの抽出
- マルチモーダル対話における発話文との統合を考慮したジェスチャ解析に関する一考察
- マルチモーダル対話を用いた問題解決システムにおける音声発話文解析処理
- マルチモーダル対話のためのジェスチャ生成に関する考察
- マルチモーダル対話における発話文生成とジェスチャ生成に関する一考察
- マルチモーダル対話におけるジェスチャ認識の一手法
- マルチモーダル対話のためのジェスチャ生成に関する考察
- マルチモーダル対話におけるジェスチャ認識の一手法
- 対話支援型問題解決システムにおけるジェスチャ解析の一手法
- ニューラルネットワークを応用した領域の併合法に関する一考察
- ニューラルネットワークを応用した領域の併合法に関する一考察
- ニューラルネットワークを応用した領域の併合法に関する一考察
- 対話支援型問題解決システムにおける知識表現と推論方式
- 超音波センサと画像を用いたコーナー形状の認識
- 初等数学の問題解決過程における対話の文脈処理
- 問題解決および知識獲得過程における対話処理方式 : 図形操作との協調
- 部分特徴を用いた顔領域検出と顔画像の認識
- 部分特徴を用いた顔領域検出と顔画像の認識
- パターンマッチングによる顔画像の部分特徴の抽出
- ニューラルネットワークによる画像の構造マッチング
- 移動に基づく物体認識のための知識表現と照合法
- 計画的移動に基づく屋内画像の認識
- ドリルテキストを対象とした言語と図形の理解システムの実現
- ドリルテキスト理解システムの対話モジュールにおける発話条件
- 領域分割に関する一手法 : ニューラルネットワークの応用
- 領域分割に関する一手法 : ニューラルネットワークの応用
- 自然情景の認識システム : 画像処理手続きの合成と獲得
- 言語と図形の協調理解のためのモジュール間通信機構
- 物語生成における文の結合ならびに変形処理
- 心のダイナミックに基づく物語の生成
- ドリルテキストにおける言語と図形の対応構造の分析
- 図形処理との協調に基づくドリルテキストの解析
- パターンマッチング向きのニューラルネットワークによる画像認識の一手法
- ニューラルネットワークにより併合判定を行う領域分割法
- 認識のための視点毎に蓄積された物体知識の分類
- 移動を考慮した物体認識のための認識対象領域の抽出
- 自然言語処理と図形処理を統合化したドリルテキストの意味理解 (自然言語処理における統合)
- マルチモーダル対話における発話文生成とジェスチャ生成に関する一考察 (特集テーマ・顔・表情・ジェスチャの認識・合成) -- (マルチモーダル)
- ニューラルネットワークを応用した領域の分割・併合法
- ドリルテキスト理解システムにおける階層型解釈モジュールの設計
- ドリルテキスト理解システムにおける分散機構の一考察