arXiv reaDer
Automatic Analysis of Facial Expressions Based on Deep Covariance Trajectories
 本稿では、深い共分散記述子を用いた表情認識のための新しいアプローチを提案します。このソリューションは、静止画像から抽出されたローカルおよびグローバルなディープコンボリューショナルニューラルネットワーク(DCNN)機能をコンパクトなローカルおよびグローバルな共分散記述子でエンコードするという考えに基づいています。共分散行列の空間ジオメトリは、対称正定値(SPD)行列の空間ジオメトリです。 SPD多様体上の有効なガウスカーネルを使用してサポートベクターマシン(SVM)を使用して静的な表情の分類を行うことにより、完全に接続されたレイヤーとソフトマックスを使用した標準分類よりも深い共分散記述子がより効果的であることを示しますさらに、SPD多様体上の深い軌跡として表情の時間的ダイナミックをモデル化するための完全に新しい独自のソリューションを提案します。共分散記述子の分類パイプラインの拡張として、SVMを、深共分散軌跡分類のグローバルアライメントから派生した有効な正定カーネルで適用します。 Oulu-CASIA、CK +、およびSFEWデータセットで広範な実験を実行することにより、提案された静的および動的アプローチの両方が、多くの最近のアプローチをしのぐ表情認識の最先端のパフォーマンスを達成することを示します。
In this paper, we propose a new approach for facial expression recognition using deep covariance descriptors. The solution is based on the idea of encoding local and global Deep Convolutional Neural Network (DCNN) features extracted from still images, in compact local and global covariance descriptors. The space geometry of the covariance matrices is that of Symmetric Positive Definite (SPD) matrices. By conducting the classification of static facial expressions using Support Vector Machine (SVM) with a valid Gaussian kernel on the SPD manifold, we show that deep covariance descriptors are more effective than the standard classification with fully connected layers and softmax. Besides, we propose a completely new and original solution to model the temporal dynamic of facial expressions as deep trajectories on the SPD manifold. As an extension of the classification pipeline of covariance descriptors, we apply SVM with valid positive definite kernels derived from global alignment for deep covariance trajectories classification. By performing extensive experiments on the Oulu-CASIA, CK+, and SFEW datasets, we show that both the proposed static and dynamic approaches achieve state-of-the-art performance for facial expression recognition outperforming many recent approaches.
updated: Wed Dec 04 2019 15:09:38 GMT+0000 (UTC)
published: Thu Oct 25 2018 15:00:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト