日本語リップリーディングシステム
スポンサーリンク
概要
- 論文の詳細を見る
リップリーディングは人間とコンピュータのインタフェースとして有用な手段の1つである.本稿では,我々が従来から研究を進めているHCM(Hypercolumn neural network Model)と隠れマルコフモデルを用いたリップリーディングシステムについて述べる.我々が提案するシステムではHCMを用いて画像から特徴を抽出し,隠れマルコフモデルを用いて特徴系列の認識を行う.HCMは位置不変,サイズ不変の特徴抽出を実現できるので,本システムでは対象を撮影する位置を固定せずに,認識を行うことができる.本システムの有効性を確認するために,日本語の文章を対象としたリップリーディングの実験を行った.対象画像は顔をクローズアップしたモノクロ画像であり,比較のため,特徴抽出にSOM(自己組織化マップ)とDCT(離散コサイン変換)を用いたシステムの認識性能も評価した.実験から,HCMがSOMやDCTよりも画像特徴を的確に捉えており,認識性能が優れていることが示された.
- 社団法人電子情報通信学会の論文
- 2004-12-03
著者
-
谷口 倫一郎
九州大学大学院システム情報科学研究院
-
鶴田 直之
福岡大学工学部電子情報工学科
-
サーギル アラー
九州大学大学院システム情報科学府知能システム学専攻
-
谷口 倫一郎
九州大学大学院システム情報科学府
関連論文
- 照明条件変動下での物体検出:テクスチャを考慮した確率 的背景モデル
- 多視点画像を利用した3次元形状モデラの開発
- 時空間特徴を考慮した動的背景モデルによる背景変動に頑健な物体検出(一般セッション7,コンピュータビジョンとパターン認識のための学習理論)
- 時空間特徴を考慮した動的背景モデルによる背景変動に頑健な物体検出(一般セッション7)
- センシングウェブにおけるセンサ情報の構造化(センシングウェブ)
- センシングウェブにおけるセンサ情報の構造化--複数センサを用いた広域対象追跡
- 複数人物を対象としたビジョンベースモーションキャプチャのための人物領域分割(一般セッション1,移動カメラ画像処理におけるパターン認識とメディア理解)
- 高速なParzen推定を用いた動的背景モデルによる映像からの物体検出
- 広域映像サーベイランスのためのアクティブカメラを用いた物体軌跡の取得(卒論セッション・概要発表)
- 自己組織化写像の拡張によるモーションキャプチャシステムの頑健化(卒論セッション・概要発表)
- 動的背景予測モデルによる照明条件変動下での物体検出(一般セッション20)
- 混合RRFによる照明条件変動下での物体検出(一般セッション20)
- D-12-84 複数カメラにおける既知内部パラメータを利用した半自校正法(D-12. パターン認識・メディア理解,一般セッション)
- 動的背景予測モデルによる照明条件変動下での物体検出(一般セッション6,三次元画像,多視点画像)
- 混合RRFによる照明条件変動下での物体検出(一般セッション6,三次元画像,多視点画像)
- ノンパラメトリックな動的背景モデルによる対象抽出 : 照明変動に対する頑健性の向上
- 自己発信情報の組み込みによる移動体の分離追跡
- コンピュータビジョンとイメージメディア(CVIM)研究会(研究会千夜一夜)
- 実時間ビジョンベースモーションキャプチャシステムのパラメータ自動推定と精度評価(一般セッション2)
- 実時間自由視点映像生成のフレームレート安定化 : 形状復元の多重解像度処理(画像・映像処理)
- 実時間自由視点映像生成のための多重解像度形状復元によるフレームレート安定化(仮想空間構成, 通信品質やヒューマンファクタを考慮したモバイルネットワーク及びVRアプリケーションの構築, 及び一般(キーワード: VR, ヒューマンファクタ, アプリケーション品質))
- オンライン自由視点映像生成の可変解像度処理によるフレームレート安定化(卒論セッション)
- 特別企画 : わが国におけるIP、CV研究の軌跡と現状
- Image Understanding Environment(IUE)プロジェクト (<特別論説>情報処理最前線)
- Real-time Human Proxyにおけるアバタ生成(仮想空間内の人物モデル制御)(エンタテインメントと仮想環境)
- ノンパラメトリックな動的背景・影モデルに基づいた映像からの物体抽出(卒論セッション)
- EDRコーパスを利用した動詞の語義分類
- 関数型言語の並列実行環境
- 特集「動画像解析」の発行に寄せて
- フォーカススイープ撮像によるDFD (パターン認識・メディア理解)
- ニューラルネットワークを用いたエッジ検出のスケール自動調整
- 特集「大規模画像データ処理」にあたって
- モード切り替えを伴うパーティクルフィルタ(一般セッション1,移動カメラ画像処理におけるパターン認識とメディア理解)
- 並列・分散ビジョンの実現に向けて(フェロー受賞記念講演,顔・人物・ジェスチャの認識・理解)
- 動的背景予測モデルによる照明条件変動下での物体検出(一般セッション6,三次元画像,多視点画像)
- 混合RRFによる照明条件変動下での物体検出(一般セッション6,三次元画像,多視点画像)
- フォーカススイープ撮像によるDFD
- IUE(画像理解用標準ソフトウェア)とCalibrated Image Databaseの現状
- 実体を伴うプロアクティブインタフェースによる双方向遠隔コミュニケーション実験(ヒューマンインタラクションとパターン認識・メディア解理・言語理解,ヒューマンインタラクションとパターン認識・メディア解理・言語理解,一般)
- 実体を伴うプロアクティブインタフェースによる双方向遠隔コミュニケーション実験(ヒューマンインタラクションとパターン認識・メディア理解・言語理解)
- 実体を伴うプロアクティブインタフェースによる双方向遠隔コミュニケーション実験(ヒューマンインタラクションとパターン認識・メディア理解・言語理解)
- 画像処理支援システムIPSSENSの開発
- モバイル端末を利用した実世界インタラクションのための対象特定に関する検討(一般,顔・人物・ジェスチャ・行動)
- モバイル端末を利用した実世界インタラクションのための対象特定に関する検討(一般,顔・人物・ジェスチャ・行動)
- 並列・分散ビジョンの実現に向けて(フェロー受賞記念講演,顔・人物・ジェスチャの認識・理解)
- Real-time Human Proxy : 仮想空間を用いた遠隔コミュニケーション
- A-16-15 Real-time Human Proxyにおける仮想空間の構築(A-16. マルチメディア・仮想環境基礎)
- A-16-14 Real-time Human Proxyにおけるユーザ情報の獲得とシンボル化(A-16. マルチメディア・仮想環境基礎)
- D-12-104 没入型分散講義における講師についての非言語情報のシンボル化
- データフローモデルに基づく超並列V言語とその商用並列計算機上の実装について
- データフロー解析に基づく関数型言語 Valid の並列化コンパイラ
- データフロー解析による関数型言動の自動並列化コンパイラ
- Datarolプログラムの既存の並列マシン上へのインプリメント
- Datarolグラフで表現された並列プログラムの逐次化
- 階層型自己組織化写像のスパースコーディングを利用した動作認識(機械学習,一般)
- カメラを用いた手話認識における見えの違いを考慮した手話の局所特徴認識(論文ヒューマンインタフェース)
- 動作の早期認識のための自己組織化写像構成法
- 動作の早期認識のための自己組織化写像構成法
- 特徴点信頼度に基づく学習と想起の切り替えによる実時間身体姿勢計測の頑健化(テーマセッション5)
- 多視点動画像処理による非接触式実時間モーションキャプチャシステム
- 動作の早期認識のための自己組織化写像構成法
- ビジョンとAI(編集委員今年の抱負2011)
- 画像理解システム評価のための多視点動画像データベースの開発について
- 九州大学大学院システム情報科学研究院知能システム学部門画像・メディア理解研究室
- アーティフィシャルニューラルネットワークを用いた腎移植の合併症の評価
- パネルディスカッション : 大量カメラとネットワークは本当に必要か?
- PCクラスタを用いた実時間多視点映像処理システム - 実時間モーションキャプチャ・三次元形状復元システム -
- 特集「画像の認識・理解シンポジウムMIRU '94」の編集にあたって
- マルチメディア指向並列計算機KUMP/Dの構成と性能評価
- マルチメディア指向並列計算機KUMP/Dにおける実時間処理のための支援機構
- 細粒度マルチスレッド処理向けプロセッサDatarol-IIの構成とその評価
- 並列計算機Datarol-IIのプロセッサエレメントの構成
- スレッド実行機構を導入したDatarolアーキテクチャについて
- 透明なウィンドウを用いた教育支援ツールの開発
- 人工神経回路網ハイパーコラムモデルにおける組合せ学習ならびに連想学習
- ハイパーコラムモデルにおけるスパースコード学習(テーマ関連セッション4)
- ハイパーコラムモデルにおけるスパースコード学習(テーマセッション(4),CVのためのパターン認識・学習理論の新展開)
- 日本語リップリーディングシステム
- ハイパコラムモデル : 階層化自己組織マップとネオコグニトロンを統合した画像認識モデル
- 実体を伴うプロアクティブヒューマンインタフェースのためのジェスチャの早期認識・予測に関する検討
- 動作の早期認識およびその予測への応用に関する検討(顔・ジェスチャ認識のためのパターン認識メディア理解,一般)
- 動作の早期認識およびその予測への応用に関する検討(顔・ジェスチャ認識のためのパターン認識メディア理解,一般)
- I-075 プロアクティブヒューマンインタフェースのためのジェスチャの早期認識に関する検討(I.画像認識・メディア理解)
- プロアクティブヒューマンインターフェースの研究 : 第1報人間型アクティブインターフェースの開発(VRとインタフェース1)
- 撮影位置情報を利用した画像アノテーションに関する検討(一般セッション,Computational Photography)
- H-042 位置情報と大規模画像データベースを利用した撮影対象特定に関する検討(H分野:画像認識・メディア理解,一般論文)
- H-029 装着型センサによる農作業認識システム構築に向けて(H分野:画像認識・メディア理解,一般論文)
- 画像認識による身体動作入力にもとづく誘発型インタフェースの構築(映像メディアおよび一般 : インターネット, デジタル放送, マルチメディア, 三次元画像, 視覚と画質評価, ITS等)
- 画像認識による身体動作入力にもとづく誘発型インタフェースの構築
- 画像認識による身体動作入力にもとづく誘発型インタフェースの構築
- 視覚認識による3次元人体動作の解析・生成とインタラクション(映像メディアおよび一般インターネット,デジタル放送,マルチメディア,三次元画像,視覚と画質評価,ITS等)
- 視覚認識による3次元人体動作の解析・生成とインタラクション
- 視覚認識による3次元人体動作の解析・生成とインタラクション
- 多視点カメラを用いた実時間全身モーションキャプチャシステム : 視覚に基づく仮想世界との実時間インタラクション
- 特徴点信頼度に基づく学習と想起の切り替えによる実時間身体姿勢計測の頑健化(テーマセッション,手,顔,身体表現の認識,理解)
- 特徴点信頼度に基づく学習と想起の切り替えによる実時間身体姿勢計測の頑健化(テーマセッション,手,顔,身体表現の認識,理解)
- 形状復元による実時間自由視点画像生成における画像品質の向上について
- 形状復元による実時間自由視点画像生成 : 高精度化にむけて(一般セッション2)
- 形状復元による実時間自由視点画像生成 : 高精度化にむけて(一般セッション(2),CVのためのパターン認識・学習理論の新展開)
- 多視点動画像処理による3次元モデル復元に基づく自由視点画像生成のオンライン化 : PCクラスタを用いた実現法(画像情報)