顔部品の「Bag of Words」とPHOG記述子を用いた顔表情認識
スポンサーリンク
概要
- 論文の詳細を見る
Facial expression recognition has many potential applications in areas such as human-computer interaction (HCI), emotion analysis, and synthetic face animation. This paper proposes a novel framework of facial appearance and shape information extraction for facial expression recognition. For appearance information extraction, a facial-component-based bag of words method is presented. We segment face images into four component regions: forehead, eye-eyebrow, nose, and mouth. We then partition them into 4 × 4 sub-regions. Dense SIFT (scale-invariant feature transform) features are calculated over the sub-regions and vector quantized into 4 × 4 sets of codeword distributions. For shape information extraction, PHOG (pyramid histogram of orientated gradient) descriptors are computed on the four facial component regions to obtain the spatial distribution of edges. Multi-class SVM classifiers are applied to classify the six basic facial expressions using the facial-component-based bag of words and PHOG descriptors respectively. Then the appearance and shape information is fused at decision level to further improve the recognition rate. Our framework provides holistic characteristics for the local texture and shape features by enhancing the structure-based spatial information, and makes it possible to use the bag of words method and the local descriptors in facial expression recognition for the first time. The recognition rate achieved by the fusion of appearance and shape features at decision level using the Cohn-Kanade database is 96.33%, which outperforms the state-of-the-art research works.
- 2010-02-01
著者
-
LI Zisheng
Department of Electronic Engineering, The University of Electro-Communications
-
IMAI Jun-ichi
Department of Electronic Engineering, The University of Electro-Communications
-
KANEKO Masahide
Department of Electronic Engineering, The University of Electro-Communications
-
今井 順一
電気通信大学大学院電気通信学研究科
-
Kaneko Masahide
Department Of Electronic Engineering The University Of Electro-communications
-
Li Zisheng
Department Of Electronic Engineering The University Of Electro-communications
-
Imai Jun‐ichi
Department Of Electronic Engineering The University Of Electro-communications
-
Imai Jun-ichi
Graduate School Of Electro-communications The University Of Electro-communications
-
Imai Jun-ichi
Department Of Cancer Biology Division Of Cellular And Molecular Biology University Of Tokyo
-
Imai Junichi
Department of Electronic Engineering, The University of Electro-Communications
関連論文
- 周囲歩行者の状態推定により動的環境に柔軟に対処可能な自律移動ロボット(学生研究発表会)
- 顔部品の「Bag of Words」とPHOG記述子を用いた顔表情認識
- 顔特徴点位置の統計的性質を利用した顔部品形状の抽出精度向上と似顔絵作成(学生研究発表会)
- Evolutionary Computation System for Musical Composition using Listener's Heartbeat Information
- 顔特徴の言葉による記述と類似顔検索への応用(学生研究発表会)
- 固有空間法による似顔絵の表情生成技術を応用した携帯電話向け電子メーラの試作(チュートリアル)
- 顔面の肌色解析による交感神経系活性度の非侵襲的評価(マルチメディア処理)
- 表情の変換規則と画家の描画スタイルの学習に基づく表現力のある似顔絵の生成(学生研究発表会)
- 顔パーツの形状と配置に対するテンプレートの自動選択による似顔絵生成(学生研究発表会)
- 顔特徴点位置の統計的性質を利用した顔部品形状の抽出精度向上と似顔絵作成
- 周囲歩行者の状態推定により動的環境に柔軟に対処可能な自律移動ロボット
- オクルージョンに頑健な視覚追跡技術--見えないものを推測できるロボットビジョンの実現を目指して (まるまる! ロボットビジョン)
- 自律移動ロボットによる動的環境の認識(学生研究発表会)
- マイクロホンアレーを用いた複数種音源位置推定及び種別判定(学生研究発表会)
- 撮影条件の違いにロバストなまばたき検出を利用したベストショット画像の自動生成
- 撮影条件の違いに対応可能なまばたき検出を利用したベストショット画像の自動生成(画像処理・符号化とアプリケーション)
- J-049 対向者の歩行動作の観測と予測に基づくロボットの自律的すれ違い(ヒューマンコミュニケーション&インタラクション,一般論文)
- H-048 動作を表す言葉の語義に従った観測動作の分解に基づく日常生活での人物動作認識(画像認識・メディア理解,一般論文)
- D-12-34 SIFT特徴量を利用した頭部モデルによる人物視界推定(D-12. パターン認識・メディア理解,一般セッション)
- A-14-13 顔部品の形状特徴と配置の型を考慮した類似顔検索(A-14. ヒューマンコミュニケーション基礎,一般セッション)
- 形状と配置の特徴及び全体的な印象を考慮した類似顔検索 (メディア工学・学生研究発表会)
- 動物の顔にたとえられる顔の特徴記述と類似顔判定への応用 (メディア工学・学生研究発表会)
- 全周方向での音源位置推定及び肌色情報との統合による話者位置推定への適用(マルチメディア応用,画像の認識・理解論文)
- 画像情報に基づき自律的にユーザとの並走・縦走の切替えが可能なロボットの実現(映像符号化,システム及び一般)
- 解像度の違いにロバストなまばたき検出を利用したベストショット画像の自動生成(映像符号化,システム及び一般)
- 階層的分類手法を利用した顔印象語と顔部品形状との対応付け(映像符号化,システム及び一般)
- Facial Expression Recognition Using Facial-component-based Bag of Words and PHOG Descriptors
- Influence of Platinum Nanoparticles Orally Administered to Rats Evaluated by Systemic Gene Expression Profiling
- Block-Based Bag of Words for Robust Face Recognition under Variant Conditions of Facial Expression, Illumination, and Partial Occlusion
- 5Y-8 周囲の複数歩行者の動きに応じて安全に自律移動するロボット(ロボットビジョン,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- K-059 Interpretation of Emotional Gestures by Considering Hands Positions and Face Features
- 4Y-7 顔特徴点位置の統計的性質を利用した顔部品形状の抽出精度向上(顔・人物画像処理(2),学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 全周方向での音源位置推定および肌色情報との統合による話者位置推定への適用(メディア処理・コンテンツ生成,ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- 1D-3 Occlusion, Expression and Illumination Invariant Face Recognition Using Block-based Bag of Words
- I-101 Gaussian Mixture Modeling of Skin Color and Adaptive Thresholding for Face Detection
- D-12-23 FACIAL EXPRESSION RECOGNITION USING FACIAL-COMPONENT-BASED APPEARANCE AND SHAPE EXTRACTION
- Face Alignment Based on Statistical Models Using SIFT Descriptors
- 6C-1 動的環境における動領域・静止領域の認識に基づく自律移動ロボットの自己位置推定(画像認識応用,一般セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- D-12-94 動領域・静止領域の確率的マッピングによる動物体追跡(D-12.パターン認識・メディア理解,一般セッション)
- 線形判別分析による表情特徴と顔特徴の分離と似顔絵アニメーションへの応用(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- 対象の自律的切替え機構を持つパーティクルフィルタによる遮蔽環境下での視覚追跡(ニューラルネットワーク画像復元及び一般)
- Fabrication of Monodispersed, Multilayered Silica-Y:Eu-Silica Core-Shell Particles and Their Photonic Crystals
- 見掛けの特徴に基づくオブジェクトとの関係に着目した人物動作の解釈(ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- Constitutive activation of nuclear factor-κB is preferentially involved in the proliferation of basal-like subtype breast cancer cell lines
- Visual Tracking in Occlusion Environments by Autonomous Switching of Targets
- Block-Based Bag of Words for Robust Face Recognition under Variant Conditions of Facial Expression, Illumination, and Partial Occlusion
- 顔特徴の高精度自動抽出と抽出座標値に対する主成分分析に基づく似顔絵生成システム (メディア工学)
- 顔特徴の主成分分析に基づく似顔絵をインタフェースとした顔画像データベース検索 (メディア工学)
- 人間共存型ロボットにおけるユーザやオブジェクトとの相対的位置関係の把握とインタラクションへの応用(コミュニケーション,ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- マルチモーダル情報に基づくユーザ毎の優先度を考慮したロボットとユーザとのコミュニケーション(コミュニケーション,ヒューマンコミュニケーショングループ(HCG)シンポジウム)
- Influence of Platinum Nanoparticles Orally Administered to Rats Evaluated by Systemic Gene Expression Profiling
- 6-2 オンライン物体モデリングを用いた遮蔽環境下での視覚追跡(第6部門 メディア処理3)
- 6-3 ロボットによる複数人の動きの観測に基づく並走・縦走の自律的切替え(第6部門 メディア処理3)
- 2-6 動領域・静止領域の確率的マッピングによる周囲環境の変化の検出(第2部門 メディア処理2)
- 1-6 顔特徴の解析と言葉による記述(第1部門 メディア処理1)
- 5-2 SIFT記述子を用いたASMによる顔特徴位置の推定(第5部門 メディア処理2)
- 8-9 独立成分分析を用いた顔特徴の解析と似顔絵生成システムへの応用(第8部門 画像認識・検索)
- 8-8 顔印象の定量的記述と類似顔検索への応用(第8部門 画像認識・検索)