野生での動的な表情の以前の方法は、主に畳み込みニューラルネットワーク(CNN)に基づいており、そのローカル操作はビデオの長距離依存関係を無視します。この問題を解決するために、各フレーム内の識別機能をキャプチャし、フレーム間のコンテキスト関係をモデル化する時空間トランスフォーマー(STT)を提案します。時空間依存関係は、統合されたTransformerによってキャプチャおよび統合されます。具体的には、入力として複数のフレームで構成される画像シーケンスが与えられた場合、CNNバックボーンを利用して各フレームを視覚的特徴シーケンスに変換します。続いて、各ブロック内の空間的注意と時間的注意が、シーケンスレベルで時空間表現を学習するために共同で適用されます。さらに、学習した特徴が最小のクラス内距離と最大のクラス間距離を持つことをさらに促進するために、コンパクトなソフトマックスクロスエントロピー損失を提案します。 2つの野生の動的表情データセット(すなわち、DFEWとAFEW)での実験は、私たちの方法が動的表情認識のために空間的および時間的依存性を利用する効果的な方法を提供することを示しています。ソースコードとトレーニングログは公開されます。
Previous methods for dynamic facial expression in the wild are mainly based on Convolutional Neural Networks (CNNs), whose local operations ignore the long-range dependencies in videos. To solve this problem, we propose the spatio-temporal Transformer (STT) to capture discriminative features within each frame and model contextual relationships among frames. Spatio-temporal dependencies are captured and integrated by our unified Transformer. Specifically, given an image sequence consisting of multiple frames as input, we utilize the CNN backbone to translate each frame into a visual feature sequence. Subsequently, the spatial attention and the temporal attention within each block are jointly applied for learning spatio-temporal representations at the sequence level. In addition, we propose the compact softmax cross entropy loss to further encourage the learned features have the minimum intra-class distance and the maximum inter-class distance. Experiments on two in-the-wild dynamic facial expression datasets (i.e., DFEW and AFEW) indicate that our method provides an effective way to make use of the spatial and temporal dependencies for dynamic facial expression recognition. The source code and the training logs will be made publicly available.