arXiv reaDer
マスクされたGAN潜在コード最適化による高解像度の顔編集
High Resolution Face Editing with Masked GAN Latent Code Optimization
顔の編集は、コンピュータービジョンおよび画像処理コミュニティ内で人気のある研究トピックです。この分野では最近大きな進歩が見られましたが、既存のソリューションは、(i)依然として主に低解像度の画像に焦点を当てている、(ii)視覚的なアーティファクトを使用して編集結果を生成することが多い、または(iii)きめ細かい制御が不足して複数を変更する(絡み合った)属性を一度に、目的の顔のセマンティクスを生成しようとしたとき。この論文では、MaskFaceGANと呼ばれる新しい属性編集アプローチを通じてこれらの問題に対処することを目指しています。提案されたアプローチは、事前にトレーニングされた(最先端の)生成的敵対的ネットワーク(つまり、StyleGAN2)の潜在コードを、以下を保証するいくつかの制約に関して直接最適化する最適化手順に基づいています。関連する画像コンテンツ、(ii)対象となる顔の属性の生成、および(iii)空間的に-局所的な画像領域の選択的処理。制約は、最適化手順に必要な参照情報を提供する(微分可能な)属性分類子とフェイスパーサーの助けを借りて実施されます。 MaskFaceGANは、CelebA-HQ、Helen、およびSiblingsDB-HQfデータセットでの広範な実験で評価され、文献のいくつかの最先端技術、つまりStarGAN、AttGAN、STGAN、および2つのバージョンのInterFaceGANと比較されます。私たちの実験結果は、提案されたアプローチが、前例のない画質と高解像度(1024x1024)でいくつかの顔属性に関して顔画像を編集できる一方で、競合するソリューションよりも属性の絡み合いに関する問題がかなり少ないことを示しています。ソースコードは、https://github.com/MartinPernus/MaskFaceGANから無料で入手できます。
Face editing represents a popular research topic within the computer vision and image processing communities. While significant progress has been made recently in this area, existing solutions: (i) are still largely focused on low-resolution images, (ii) often generate editing results with visual artefacts, or (iii) lack fine-grained control and alter multiple (entangled) attributes at once, when trying to generate the desired facial semantics. In this paper, we aim to address these issues though a novel attribute editing approach called MaskFaceGAN. The proposed approach is based on an optimization procedure that directly optimizes the latent code of a pre-trained (state-of-the-art) Generative Adversarial Network (i.e., StyleGAN2) with respect to several constraints that ensure: (i) preservation of relevant image content, (ii) generation of the targeted facial attributes, and (iii) spatially--selective treatment of local image areas. The constraints are enforced with the help of an (differentiable) attribute classifier and face parser that provide the necessary reference information for the optimization procedure. MaskFaceGAN is evaluated in extensive experiments on the CelebA-HQ, Helen and SiblingsDB-HQf datasets and in comparison with several state-of-the-art techniques from the literature, i.e., StarGAN, AttGAN, STGAN, and two versions of InterFaceGAN. Our experimental results show that the proposed approach is able to edit face images with respect to several facial attributes with unprecedented image quality and at high-resolutions (1024x1024), while exhibiting considerably less problems with attribute entanglement than competing solutions. The source code is made freely available from: https://github.com/MartinPernus/MaskFaceGAN.
updated: Thu Jul 01 2021 09:35:33 GMT+0000 (UTC)
published: Sat Mar 20 2021 08:39:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト