arXiv reaDer
マスクされたオートエンコーダーの潜在空間のマイニングによるオクルージョン ロバストな FAU 認識
Occlusion-Robust FAU Recognition by Mining Latent Space of Masked Autoencoders
フェイシャル アクション ユニット (FAU) は、きめの細かい表情分析に不可欠です。 FAU の検出は、理想的には高品質の画像を使用して積極的に研究されてきましたが、重度の閉塞条件下では完全には研究されていませんでした。この論文では、重いオクルージョンの下でFAU検出性能を維持するための最初のオクルージョンロバストFAU認識方法を提案します。私たちの新しいアプローチは、マスクされたオートエンコーダー (MAE) の潜在空間からの豊富な情報を利用し、それを FAU 機能に変換します。オクルージョン再構築ステップをバイパスすることで、モデルは事前トレーニング済みのマスクされたオートエンコーダーの潜在空間をマイニングすることにより、オクルージョンされた顔の FAU 特徴を効率的に抽出します。ノード レベルとエッジ レベルの両方の知識蒸留も採用されており、潜在空間ベクトルと FAU 特徴の間のマッピングを見つけるようにモデルを導きます。ランダムな小さなパッチや大きなブロックなど、顔のオクルージョン条件が徹底的に研究されています。 BP4D および DISFA データセットに関する実験結果は、我々の方法が研究された顔のオクルージョンの下で最先端のパフォーマンスを達成し、既存のベースライン方法を大幅に上回ることを示しています。特に、重度のオクルージョン下でも、提案された方法は、通常の条件下で最先端の方法と同等のパフォーマンスを達成できます。
Facial action units (FAUs) are critical for fine-grained facial expression analysis. Although FAU detection has been actively studied using ideally high quality images, it was not thoroughly studied under heavily occluded conditions. In this paper, we propose the first occlusion-robust FAU recognition method to maintain FAU detection performance under heavy occlusions. Our novel approach takes advantage of rich information from the latent space of masked autoencoder (MAE) and transforms it into FAU features. Bypassing the occlusion reconstruction step, our model efficiently extracts FAU features of occluded faces by mining the latent space of a pretrained masked autoencoder. Both node and edge-level knowledge distillation are also employed to guide our model to find a mapping between latent space vectors and FAU features. Facial occlusion conditions, including random small patches and large blocks, are thoroughly studied. Experimental results on BP4D and DISFA datasets show that our method can achieve state-of-the-art performances under the studied facial occlusion, significantly outperforming existing baseline methods. In particular, even under heavy occlusion, the proposed method can achieve comparable performance as state-of-the-art methods under normal conditions.
updated: Thu Dec 08 2022 01:57:48 GMT+0000 (UTC)
published: Thu Dec 08 2022 01:57:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト