人間の 3D 頭部の合成と再構成は、最近、コンピューター ビジョンとコンピューター グラフィックスでますます関心を集めています。 3D 人体頭部合成用の既存の最先端の 3D 敵対的生成ネットワーク (GAN) は、正面に近いビューに限定されているか、大きな視野角で 3D の一貫性を維持するのが困難です。 PanoHead は、360 度の完全な頭部の高品質のビュー一貫性のある画像合成を可能にし、トレーニング用に野生の非構造化画像のみを使用して、多様な外観と詳細なジオメトリを実現する最初の 3D 対応生成モデルです。その核となるのは、最近の 3D GAN の表現力を高め、広く分散されたビューを使用して野生の画像からトレーニングする際のデータ アライメントのギャップを埋めることです。具体的には、堅牢な 3D GAN トレーニングのための新しい 2 段階の自己適応型画像アライメントを提案します。さらに、広く採用されているトライプレーン定式化に根ざした前面と後頭部の特徴のもつれに効果的に対処するトライグリッド ニューラル ボリューム表現を導入します。私たちの方法は、3Dニューラルシーン構造の敵対的学習における2D画像セグメンテーションの事前知識を浸透させ、多様な背景で合成可能な頭部合成を可能にします。これらの設計の恩恵を受けて、私たちの方法は以前の 3D GAN よりも大幅に優れており、正確なジオメトリと多様な外観を備えた高品質の 3D ヘッドを生成し、任意のポーズからレンダリング可能な長い波状のヘアスタイルやアフロ ヘアスタイルでも使用できます。さらに、私たちのシステムが、パーソナライズされた現実的な 3D アバターの単一の入力画像から完全な 3D ヘッドを再構築できることを示します。
Synthesis and reconstruction of 3D human head has gained increasing interests in computer vision and computer graphics recently. Existing state-of-the-art 3D generative adversarial networks (GANs) for 3D human head synthesis are either limited to near-frontal views or hard to preserve 3D consistency in large view angles. We propose PanoHead, the first 3D-aware generative model that enables high-quality view-consistent image synthesis of full heads in 360^∘ with diverse appearance and detailed geometry using only in-the-wild unstructured images for training. At its core, we lift up the representation power of recent 3D GANs and bridge the data alignment gap when training from in-the-wild images with widely distributed views. Specifically, we propose a novel two-stage self-adaptive image alignment for robust 3D GAN training. We further introduce a tri-grid neural volume representation that effectively addresses front-face and back-head feature entanglement rooted in the widely-adopted tri-plane formulation. Our method instills prior knowledge of 2D image segmentation in adversarial learning of 3D neural scene structures, enabling compositable head synthesis in diverse backgrounds. Benefiting from these designs, our method significantly outperforms previous 3D GANs, generating high-quality 3D heads with accurate geometry and diverse appearances, even with long wavy and afro hairstyles, renderable from arbitrary poses. Furthermore, we show that our system can reconstruct full 3D heads from single input images for personalized realistic 3D avatars.