arXiv reaDer
GAN-Control:明示的に制御可能なGAN
GAN-Control: Explicitly Controllable GANs
生成された画像を明示的に制御してGANをトレーニングするためのフレームワークを紹介します。年齢、ポーズ、表情などの正確な属性を設定することで、生成された画像を制御できます。GANで生成された画像を編集するほとんどのアプローチは、標準のGANトレーニング後に暗黙的に取得された潜在空間のもつれを解くプロパティを活用することで部分的な制御を実現します。このようなメソッドは、特定の属性の相対強度を変更できますが、それらの値を明示的に設定することはできません。人間の顔を明示的に制御するために設計された最近提案された方法は、変形可能な3D顔モデルを利用して、GANのきめ細かい制御機能を可能にします。これらの方法とは異なり、私たちのコントロールは、モーフィング可能な3D顔モデルパラメータに制約されず、人間の顔の領域を超えて拡張可能です。対照学習を使用して、明示的に解きほぐされた潜在空間を持つGANを取得します。この解きほぐしは、人間が解釈可能な入力を適切な潜在ベクトルにマッピングする制御エンコーダーをトレーニングするために利用され、明示的な制御を可能にします。人間の顔の領域では、アイデンティティ、年齢、ポーズ、表情、髪の色、照明の制御を示します。また、ペイントされたポートレートと犬の画像生成のドメインで、フレームワークの制御機能を示します。私たちのアプローチが定性的および定量的の両方で最先端のパフォーマンスを達成することを示します。
We present a framework for training GANs with explicit control over generated images. We are able to control the generated image by settings exact attributes such as age, pose, expression, etc. Most approaches for editing GAN-generated images achieve partial control by leveraging the latent space disentanglement properties, obtained implicitly after standard GAN training. Such methods are able to change the relative intensity of certain attributes, but not explicitly set their values. Recently proposed methods, designed for explicit control over human faces, harness morphable 3D face models to allow fine-grained control capabilities in GANs. Unlike these methods, our control is not constrained to morphable 3D face model parameters and is extendable beyond the domain of human faces. Using contrastive learning, we obtain GANs with an explicitly disentangled latent space. This disentanglement is utilized to train control-encoders mapping human-interpretable inputs to suitable latent vectors, thus allowing explicit control. In the domain of human faces we demonstrate control over identity, age, pose, expression, hair color and illumination. We also demonstrate control capabilities of our framework in the domains of painted portraits and dog image generation. We demonstrate that our approach achieves state-of-the-art performance both qualitatively and quantitatively.
updated: Thu Jan 07 2021 10:54:17 GMT+0000 (UTC)
published: Thu Jan 07 2021 10:54:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト