ポートレートの様式化は、広範なアプリケーションを可能にする長年の課題です。 2D ベースの手法は近年大きな進歩を遂げていますが、メタバースやゲームなどの実世界のアプリケーションでは 3D コンテンツが必要になることがよくあります。一方、取得に費用がかかる 3D データの要件は、3D ポートレート様式の開発を著しく妨げます。この論文では、2D 画像をレンダリングするための中間表現として 3D フィールドを使用して 2D ドメインと 3D ドメインを橋渡しする 3D 認識 GAN の成功に着想を得て、3D ポートレート様式化のための 3D 認識 GAN に基づく、HyperStyle3D と呼ばれる新しい方法を提案します。 .私たちの方法の核となるのは、単一のフォワードパスでジェネレーターのパラメーターを操作することを学習したハイパーネットワークです。単一のモデルで複数のスタイルを処理する強力な機能を提供するだけでなく、ポートレートのテクスチャ、形状、または局所的な部分のみに影響を与える柔軟できめ細かなスタイル設定も可能にします。 3D 対応の GAN を使用すると 3D データの要件が回避されますが、スタイル化のガイダンスである CLIP モデルにより、スタイル イメージの必要性がさらに軽減されます。スタイル、属性、形状について広範な実験を行い、その間に 3D の一貫性を測定します。これらの実験は、さまざまなスタイルで 3D と一貫性のある画像をレンダリングし、顔の形を変形し、さまざまな属性を編集する際の HyperStyle3D モデルの優れた機能を示しています。
Portrait stylization is a long-standing task enabling extensive applications. Although 2D-based methods have made great progress in recent years, real-world applications such as metaverse and games often demand 3D content. On the other hand, the requirement of 3D data, which is costly to acquire, significantly impedes the development of 3D portrait stylization methods. In this paper, inspired by the success of 3D-aware GANs that bridge 2D and 3D domains with 3D fields as the intermediate representation for rendering 2D images, we propose a novel method, dubbed HyperStyle3D, based on 3D-aware GANs for 3D portrait stylization. At the core of our method is a hyper-network learned to manipulate the parameters of the generator in a single forward pass. It not only offers a strong capacity to handle multiple styles with a single model, but also enables flexible fine-grained stylization that affects only texture, shape, or local part of the portrait. While the use of 3D-aware GANs bypasses the requirement of 3D data, we further alleviate the necessity of style images with the CLIP model being the stylization guidance. We conduct an extensive set of experiments across the style, attribute, and shape, and meanwhile, measure the 3D consistency. These experiments demonstrate the superior capability of our HyperStyle3D model in rendering 3D-consistent images in diverse styles, deforming the face shape, and editing various attributes.