arXiv reaDer
Masked GAN 潜在コード最適化による高解像度顔編集
High Resolution Face Editing with Masked GAN Latent Code Optimization
顔編集は、コンピューター ビジョンおよび画像処理コミュニティ内で人気のある研究トピックです。この分野では最近大きな進歩が見られましたが、既存のソリューションは、(i) 低解像度の画像に依然として主に焦点を当てている、(ii) 視覚的なアーティファクトを含む編集結果を生成することが多い、または (iii) きめ細かい制御がなく、複数の画像を変更する必要な顔のセマンティクスを生成しようとすると、(絡み合った) 属性が一度に生成されます。このホワイトペーパーでは、ローカル属性編集に焦点を当てたMaskFaceGANと呼ばれる新しい属性編集アプローチを通じて、これらの問題に対処することを目指しています。提案されたアプローチは、事前に訓練された (最先端の) Generative Adversarial Network (つまり、StyleGAN2) の潜在的なコードを、以下を保証するいくつかの制約に関して直接最適化する最適化手順に基づいています。関連する画像コンテンツ、(ii) 対象となる顔の属性の生成、および (iii) 局所画像領域の空間的 - 選択的処理。制約は、最適化手順に必要な参照情報を提供する (微分可能な) 属性分類子と顔パーサーの助けを借りて適用されます。 MaskFaceGAN は、CelebA-HQ、Helen、および SiblingsDB-HQf データセットに対する大規模な実験で評価され、文献にあるいくつかの最先端技術、つまり、StarGAN、AttGAN、STGAN、および InterFaceGAN の 2 つのバージョンと比較して評価されます。私たちの実験結果は、提案されたアプローチが、前例のない画質と高解像度 (1024x1024) でいくつかの局所的な顔属性に関する顔画像を編集できることを示していますが、競合するソリューションよりも属性のもつれに関する問題がかなり少ないことを示しています。ソース コードは、https://github.com/MartinPernus/MaskFaceGAN から自由に入手できます。
Face editing represents a popular research topic within the computer vision and image processing communities. While significant progress has been made recently in this area, existing solutions: (i) are still largely focused on low-resolution images, (ii) often generate editing results with visual artefacts, or (iii) lack fine-grained control and alter multiple (entangled) attributes at once, when trying to generate the desired facial semantics. In this paper, we aim to address these issues though a novel attribute editing approach called MaskFaceGAN that focuses on local attribute editing. The proposed approach is based on an optimization procedure that directly optimizes the latent code of a pre-trained (state-of-the-art) Generative Adversarial Network (i.e., StyleGAN2) with respect to several constraints that ensure: (i) preservation of relevant image content, (ii) generation of the targeted facial attributes, and (iii) spatially--selective treatment of local image areas. The constraints are enforced with the help of an (differentiable) attribute classifier and face parser that provide the necessary reference information for the optimization procedure. MaskFaceGAN is evaluated in extensive experiments on the CelebA-HQ, Helen and SiblingsDB-HQf datasets and in comparison with several state-of-the-art techniques from the literature, i.e., StarGAN, AttGAN, STGAN, and two versions of InterFaceGAN. Our experimental results show that the proposed approach is able to edit face images with respect to several local facial attributes with unprecedented image quality and at high-resolutions (1024x1024), while exhibiting considerably less problems with attribute entanglement than competing solutions. The source code is made freely available from: https://github.com/MartinPernus/MaskFaceGAN.
updated: Mon Feb 06 2023 16:34:27 GMT+0000 (UTC)
published: Sat Mar 20 2021 08:39:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト