この論文では、Transfer-Editing and Recognition Generative Adversarial Network(TER-GAN)として知られる統合アーキテクチャを紹介します。これは、1つのアイデンティティから別のアイデンティティに顔の表情を転送する、顔の表情転送(FET)として知られています。 、2。表情編集(FEE)として知られる画像のアイデンティティを保持しながら、与えられた画像の表情をターゲット表情に変換します。そして3.表情として知られる顔画像の表情を認識します。認識(FER)。 TER-GANでは、再生成プロセス中に入力画像に関する重要な情報を学習しながら、生成モデルの機能を組み合わせて合成画像を生成します。より具体的には、TER-GANで2つのエンコーダーを使用して、2つの入力画像から識別情報と発現情報をエンコードし、合成発現画像をTER-GANのデコーダー部分で生成します。機能の解きほぐしおよび抽出プロセスを改善するために、生成された画像からの追加の表現およびアイデンティティ情報を活用する新しい表現一貫性の損失およびアイデンティティ一貫性の損失も導入します。実験結果は、提案された方法が効率的な表情転送、表情編集、および表情認識に使用できることを示しています。提案された手法を評価し、結果を最新の方法と比較するために、実験にOulu-CASIAデータセットを使用しました。
In this paper, we present a unified architecture known as Transfer-Editing and Recognition Generative Adversarial Network (TER-GAN) which can be used: 1. to transfer facial expressions from one identity to another identity, known as Facial Expression Transfer (FET), 2. to transform the expression of a given image to a target expression, while preserving the identity of the image, known as Facial Expression Editing (FEE), and 3. to recognize the facial expression of a face image, known as Facial Expression Recognition (FER). In TER-GAN, we combine the capabilities of generative models to generate synthetic images, while learning important information about the input images during the reconstruction process. More specifically, two encoders are used in TER-GAN to encode identity and expression information from two input images, and a synthetic expression image is generated by the decoder part of TER-GAN. To improve the feature disentanglement and extraction process, we also introduce a novel expression consistency loss and an identity consistency loss which exploit extra expression and identity information from generated images. Experimental results show that the proposed method can be used for efficient facial expression transfer, facial expression editing and facial expression recognition. In order to evaluate the proposed technique and to compare our results with state-of-the-art methods, we have used the Oulu-CASIA dataset for our experiments.