この論文では、顔検証のために最適化された新しいマルチスケール生成的敵対ネットワーク(GAN)アーキテクチャを提案することにより、顔の幻覚の問題に対処します。最初に、異なる解像度で複数の中間出力を有する、高いアップスケーリング比係数を持つ顔幻覚用のマルチスケールジェネレータアーキテクチャを提案します。中間出力には、小さい画像から大きい画像を合成するという目標があります。第二に、元のGAN弁別器に顔検証器を組み込み、偽造で生成されたHR顔画像とグラウンドトゥルース画像を区別しながら、異なるアイデンティティを識別することを学習する新しい弁別器を提案します。特に、学習したジェネレーターは、幻覚顔画像の視覚的品質だけでなく、幻覚プロセスの識別機能も保持します。さらに、知覚的に関連する違いをキャプチャするために、ピクセル空間の類似性ではなく、知覚的な類似性の損失を採用します。 LFWおよびCelebAデータセットのフレームワークの定量的および定性的評価を実行します。実験結果は、8xダウンサンプリングされたテストデータセットでの最新の方法に対する提案された方法の利点を示しています。
In this paper, we address the problem of face hallucination by proposing a novel multi-scale generative adversarial network (GAN) architecture optimized for face verification. First, we propose a multi-scale generator architecture for face hallucination with a high up-scaling ratio factor, which has multiple intermediate outputs at different resolutions. The intermediate outputs have the growing goal of synthesizing small to large images. Second, we incorporate a face verifier with the original GAN discriminator and propose a novel discriminator which learns to discriminate different identities while distinguishing fake generated HR face images from their ground truth images. In particular, the learned generator cares for not only the visual quality of hallucinated face images but also preserving the discriminative features in the hallucination process. In addition, to capture perceptually relevant differences we employ a perceptual similarity loss, instead of similarity in pixel space. We perform a quantitative and qualitative evaluation of our framework on the LFW and CelebA datasets. The experimental results show the advantages of our proposed method against the state-of-the-art methods on the 8x downsampled testing dataset.