このホワイト ペーパーでは、ビデオから普遍的な顔の表現を学習するための自己教師ありアプローチを提案します。このアプローチは、顔属性認識 (FAR)、顔表情認識 (FER)、ディープフェイク検出 (DFD)、リップなどのさまざまな顔分析タスクに転送できます。同期 (LS)。私たちが提案する MARLIN という名前のフレームワークは、顔のビデオをマスクしたオートエンコーダーであり、豊富に利用可能な注釈なしの Web クロールされた顔のビデオから、非常に堅牢で一般的な顔の埋め込みを学習します。やりがいのある補助タスクとして、MARLIN は主に目、鼻、口、唇、皮膚を含む密にマスクされた顔の領域から顔の時空間の詳細を再構築し、局所的および全体的な側面をキャプチャします。特徴。さまざまなダウンストリーム タスクでのさまざまな実験を通じて、MARLIN が優れたフェイシャル ビデオ エンコーダーおよび特徴抽出器であり、FAR (監視されたベンチマークより 1.13% のゲイン)、FER (2.64教師なしベンチマークに対する % ゲイン)、DFD (教師なしベンチマークに対する 1.86% のゲイン)、LS (Frechet Inception Distance の 29.36% のゲイン)、および低データ体制でも。私たちのコードと事前トレーニング済みのモデルは公開されます。
This paper proposes a self-supervised approach to learn universal facial representations from videos, that can transfer across a variety of facial analysis tasks such as Facial Attribute Recognition (FAR), Facial Expression Recognition (FER), DeepFake Detection (DFD), and Lip Synchronization (LS). Our proposed framework, named MARLIN, is a facial video masked autoencoder, that learns highly robust and generic facial embeddings from abundantly available non-annotated web crawled facial videos. As a challenging auxiliary task, MARLIN reconstructs the spatio-temporal details of the face from the densely masked facial regions which mainly include eyes, nose, mouth, lips, and skin to capture local and global aspects that in turn help in encoding generic and transferable features. Through a variety of experiments on diverse downstream tasks, we demonstrate MARLIN to be an excellent facial video encoder as well as feature extractor, that performs consistently well across a variety of downstream tasks including FAR (1.13% gain over supervised benchmark), FER (2.64% gain over unsupervised benchmark), DFD (1.86% gain over unsupervised benchmark), LS (29.36% gain for Frechet Inception Distance), and even in low data regime. Our codes and pre-trained models will be made public.