この論文では、ポートレート写真の顔をアニメの外観に変換するための新しいフレームワークを提案します。私たちの目的は、与えられた参照アニメの顔とスタイルが一致するアニメの顔を合成することです。ただし、通常の翻訳タスクとは異なり、このようなアニメの顔の翻訳は、アニメの顔の外観が複雑に異なるため、困難です。既存の方法では、参照アニメの顔のスタイルを転送できない場合や、生成された顔の局所的な形状に顕著なアーティファクト/歪みが生じる場合があります。高品質なアニメの顔を合成する、GANベースの新しい翻訳者であるAniGANを提案します。具体的には、元の写真の顔のグローバルな構造を維持しながら、色/テクスチャのスタイルを同時に転送し、参照アニメの顔のスタイルに基づいてローカルの顔の形状をアニメのような対応物に変換する新しいジェネレータアーキテクチャが提案されます。ドメイン固有の分布とドメイン共有の分布の両方を学習し、視覚的に心地よいアニメの顔を生成し、アーティファクトを効果的に軽減するのに役立つ、ダブルブランチ弁別器を提案します。 Selfie2animeと新しいface2animeデータセットに関する広範な実験により、最先端の方法に対する私たちの方法の優位性が定性的および定量的に実証されています。新しいデータセットはhttps://github.com/bing-li-ai/AniGANで入手できます。
In this paper, we propose a novel framework to translate a portrait photo-face into an anime appearance. Our aim is to synthesize anime-faces which are style-consistent with a given reference anime-face. However, unlike typical translation tasks, such anime-face translation is challenging due to complex variations of appearances among anime-faces. Existing methods often fail to transfer the styles of reference anime-faces, or introduce noticeable artifacts/distortions in the local shapes of their generated faces. We propose AniGAN, a novel GAN-based translator that synthesizes high-quality anime-faces. Specifically, a new generator architecture is proposed to simultaneously transfer color/texture styles and transform local facial shapes into anime-like counterparts based on the style of a reference anime-face, while preserving the global structure of the source photo-face. We propose a double-branch discriminator to learn both domain-specific distributions and domain-shared distributions, helping generate visually pleasing anime-faces and effectively mitigate artifacts. Extensive experiments on selfie2anime and a new face2anime dataset qualitatively and quantitatively demonstrate the superiority of our method over state-of-the-art methods. The new dataset is available at https://github.com/bing-li-ai/AniGAN .