arXiv reaDer
Do Inpainting Yourself: 手本に導かれるジェネレーティブなフェイシャル インペインティング
Do Inpainting Yourself: Generative Facial Inpainting Guided by Exemplars
EXE-GAN は、敵対的生成ネットワークを使用した新しい模範ガイド付き顔修復フレームワークです。私たちのアプローチは、入力された顔画像の品質を維持するだけでなく、模範的な顔の属性で画像を完成させることができます。これは、入力画像のグローバル スタイル、ランダム潜在コードから生成された確率的スタイル、模範画像の模範スタイルを同時に活用することによって実現されます。ネットワークが手本から自己教師付きの方法で顔の属性のスタイルを学習することを奨励するために、新しい属性類似性メトリックを導入します。修復された領域の境界を越えた自然な遷移を保証するために、空間位置に基づいて損失勾配を調整するための新しい空間バリアント勾配逆伝播手法を導入します。パブリック CelebA-HQ および FFHQ データセットに対する広範な評価と実用的なアプリケーションにより、顔の修復における視覚的品質の点で EXE-GAN の優位性が検証されます。
We present EXE-GAN, a novel exemplar-guided facial inpainting framework using generative adversarial networks. Our approach can not only preserve the quality of the input facial image but also complete the image with exemplar-like facial attributes. We achieve this by simultaneously leveraging the global style of the input image, the stochastic style generated from the random latent code, and the exemplar style of exemplar image. We introduce a novel attribute similarity metric to encourage networks to learn the style of facial attributes from the exemplar in a self-supervised way. To guarantee the natural transition across the boundaries of inpainted regions, we introduce a novel spatial variant gradient backpropagation technique to adjust the loss gradients based on the spatial location. Extensive evaluations and practical applications on public CelebA-HQ and FFHQ datasets validate the superiority of EXE-GAN in terms of the visual quality in facial inpainting.
updated: Sun Aug 14 2022 14:56:57 GMT+0000 (UTC)
published: Sun Feb 13 2022 16:29:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト