この論文では、ポートレート写真の顔をアニメの外観に変換するための新しいフレームワークを提案します。私たちの目的は、与えられた参照アニメの顔とスタイルが一致するアニメの顔を合成することです。ただし、通常の翻訳タスクとは異なり、このようなアニメの顔の翻訳は、アニメの顔の外観が複雑に異なるため、困難です。既存の方法では、参照アニメの顔のスタイルを転送できない場合や、生成された顔の局所的な形状に顕著なアーティファクト/歪みが生じる場合があります。高品質のアニメの顔を合成する、GANベースの新しい翻訳者であるAni-GANを提案します。具体的には、ソースフォトフェイスのグローバル構造を維持しながら、カラー/テクスチャスタイルを同時に転送し、参照アニメフェイスのスタイルに基づいてローカルの顔の形状をアニメのような対応物に変換する新しいジェネレータアーキテクチャが提案されています。ドメイン固有の分布とドメイン共有の分布の両方を学習し、視覚的に心地よいアニメの顔を生成し、アーティファクトを効果的に軽減するのに役立つ、ダブルブランチ弁別器を提案します。広範な実験により、最先端の方法に対する私たちの方法の優位性が定性的および定量的に実証されています。
In this paper, we propose a novel framework to translate a portrait photo-face into an anime appearance. Our aim is to synthesize anime-faces which are style-consistent with a given reference anime-face. However, unlike typical translation tasks, such anime-face translation is challenging due to complex variations of appearances among anime-faces. Existing methods often fail to transfer the styles of reference anime-faces, or introduce noticeable artifacts/distortions in the local shapes of their generated faces. We propose Ani- GAN, a novel GAN-based translator that synthesizes highquality anime-faces. Specifically, a new generator architecture is proposed to simultaneously transfer color/texture styles and transform local facial shapes into anime-like counterparts based on the style of a reference anime-face, while preserving the global structure of the source photoface. We propose a double-branch discriminator to learn both domain-specific distributions and domain-shared distributions, helping generate visually pleasing anime-faces and effectively mitigate artifacts. Extensive experiments qualitatively and quantitatively demonstrate the superiority of our method over state-of-the-art methods.