単一視点のポートレート画像から 3D 頭部アバターを再構成してアニメーション化する方法を紹介します。既存の方法では、複数の画像を使用して特定の人物を最適化するのに時間がかかるか、顔の領域を超えた複雑な外観の詳細を合成するのに苦労しています。これらの制限に対処するために、人物固有の最適化を必要とせずに、単一ビューの画像に基づいて目に見えないアイデンティティを一般化するだけでなく、顔領域内外の特徴的な詳細(髪型、アクセサリーなど)もキャプチャするフレームワークを提案します。 。私たちの方法の中核となるのは、大まかな 3D ジオメトリ、ソース イメージの詳細な外観、およびターゲット イメージの表現を表す 3 つのトライプレーンを生成する 3 つのブランチです。 3 つのトライプレーンの組み合わせにボリューム レンダリングを適用し、続いて超解像度モジュールを適用することで、私たちの方法は、望ましいアイデンティティ、表情、ポーズの忠実度の高い画像を生成します。トレーニングが完了すると、私たちのモデルは、ネットワークを介した 1 回の順方向パスを介して、効率的な 3D 頭部アバターの再構築とアニメーションを可能にします。実験の結果、提案されたアプローチは、目に見えない検証データセットに対して十分に一般化され、頭部アバターの再構成とアニメーションに関して SOTA ベースライン手法を大幅に上回っていることが示されています。
We present a method that reconstructs and animates a 3D head avatar from a single-view portrait image. Existing methods either involve time-consuming optimization for a specific person with multiple images, or they struggle to synthesize intricate appearance details beyond the facial region. To address these limitations, we propose a framework that not only generalizes to unseen identities based on a single-view image without requiring person-specific optimization, but also captures characteristic details within and beyond the face area (e.g. hairstyle, accessories, etc.). At the core of our method are three branches that produce three tri-planes representing the coarse 3D geometry, detailed appearance of a source image, as well as the expression of a target image. By applying volumetric rendering to the combination of the three tri-planes followed by a super-resolution module, our method yields a high fidelity image of the desired identity, expression and pose. Once trained, our model enables efficient 3D head avatar reconstruction and animation via a single forward pass through a network. Experiments show that the proposed approach generalizes well to unseen validation datasets, surpassing SOTA baseline methods by a large margin on head avatar reconstruction and animation.