arXiv reaDer
ドメイン内の強制GAN反転
Force-in-domain GAN inversion
経験的研究は、画像を生成するように訓練されると、生成的敵対的ネットワーク(GAN)の潜在空間にさまざまなセマンティクスが出現することを示唆しています。実像編集を行うには、実像から潜在空間への正確なマッピングが必要であり、これらの学習されたセマンティクスを活用する必要があります。これは重要ですが困難です。ドメイン内GAN反転アプローチは、実画像空間内の反転コードから取得された再構成画像を強制することにより、潜在空間内の反転コードを制約するために最近提案されています。経験的に、ドメイン内GANによる反転コードは、潜在空間から大幅に逸脱する可能性があることがわかります。この問題を解決するために、ドメイン内GANに基づくドメイン内強制GANを提案します。これは、弁別子を使用して、潜在空間内で反転コードを強制します。フォースインドメインGANは、わずかな変更を加えたサイクルGANによっても解釈できます。広範な実験により、フォースインドメインGANは、ピクセルレベルでターゲット画像を再構築するだけでなく、セマンティック編集のために反転コードを潜在空間に適切に位置合わせすることが示されています。
Empirical works suggest that various semantics emerge in the latent space of Generative Adversarial Networks (GANs) when being trained to generate images. To perform real image editing, it requires an accurate mapping from the real image to the latent space to leveraging these learned semantics, which is important yet difficult. An in-domain GAN inversion approach is recently proposed to constraint the inverted code within the latent space by forcing the reconstructed image obtained from the inverted code within the real image space. Empirically, we find that the inverted code by the in-domain GAN can deviate from the latent space significantly. To solve this problem, we propose a force-in-domain GAN based on the in-domain GAN, which utilizes a discriminator to force the inverted code within the latent space. The force-in-domain GAN can also be interpreted by a cycle-GAN with slight modification. Extensive experiments show that our force-in-domain GAN not only reconstructs the target image at the pixel level, but also align the inverted code with the latent space well for semantic editing.
updated: Wed Jul 14 2021 01:42:15 GMT+0000 (UTC)
published: Tue Jul 13 2021 13:03:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト