照明や顔の表情の極端な変化に一般化する顔分析システムを構築することは、自然に見える合成データを使用して潜在的に軽減できる挑戦的な問題です。そのために、ペアのトレーニングデータを必要とせずに、顔画像の照明と表情を共同で操作するための知覚品質判断を活用する新しい合成フレームワークであるLEGANを提案します。 LEGANは、照明と式の部分空間を解きほぐし、目的の出力画像にアップスケーリングする前に、特徴空間で変換を実行します。合成画像の忠実度は、複数の合成方法とクラウドソーシングによる自然度評価を使用してレンダリングされた顔画像でトレーニングされた知覚品質推定モデルを、補助弁別器としてLEGANフレームワークに統合することによってさらに洗練されます。 LEGANは、FIDやLPIPSなどの客観的な指標を使用して、照明や表情の合成にStarGANやStarGAN-v2などの一般的なGANモデルと比較して、より高品質の顔画像を生成することが示されています。また、LEGANや他のGANモデルによって合成された画像を使用して知覚研究を行い、品質推定と視覚的忠実度の相関関係を示します。最後に、表情認識および顔検証タスクのトレーニングデータオーグメンターとしてのLEGANの有効性を示します。
Building facial analysis systems that generalize to extreme variations in lighting and facial expressions is a challenging problem that can potentially be alleviated using natural-looking synthetic data. Towards that, we propose LEGAN, a novel synthesis framework that leverages perceptual quality judgments for jointly manipulating lighting and expressions in face images, without requiring paired training data. LEGAN disentangles the lighting and expression subspaces and performs transformations in the feature space before upscaling to the desired output image. The fidelity of the synthetic image is further refined by integrating a perceptual quality estimation model, trained with face images rendered using multiple synthesis methods and their crowd-sourced naturalness ratings, into the LEGAN framework as an auxiliary discriminator. Using objective metrics like FID and LPIPS, LEGAN is shown to generate higher quality face images when compared with popular GAN models like StarGAN and StarGAN-v2 for lighting and expression synthesis. We also conduct a perceptual study using images synthesized by LEGAN and other GAN models and show the correlation between our quality estimation and visual fidelity. Finally, we demonstrate the effectiveness of LEGAN as training data augmenter for expression recognition and face verification tasks.