arXiv reaDer
Head3D: Tri-plane Feature Distillation による完全な 3D ヘッド生成
Head3D: Complete 3D Head Generation via Tri-plane Feature Distillation
多様なアイデンティティを持つ頭部の生成は、マルチメディア アプリケーションで広く使用されているコンピューター ビジョンとコンピューター グラフィックスにおける重要なタスクです。ただし、現在の完全な頭部生成方法では、モデルをトレーニングするために多数の 3D スキャンまたはマルチビュー画像が必要であり、データ取得コストが高くなります。この問題に対処するために、限られたマルチビュー画像で完全な 3D ヘッドを生成する方法である Head3D を提案します。具体的には、私たちのアプローチは、まず、3D 認識生成モデルである EG3D で学習されたトライプレーンによって表される顔の事前分布を抽出し、次に特徴抽出を提案して、頭部の完全性を損なうことなく 3D 正面顔を完全な頭部に提供します。顔モデルと頭部モデルの間のドメイン ギャップを軽減するために、前頭部と後頭部の生成をそれぞれガイドするデュアル弁別器を提示します。私たちのモデルは、写真のようにリアルなレンダリングと高品質のジオメトリ表現により、費用対効果が高く多様な完全な頭部生成を実現します。広範な実験により、提案されたHead3Dの有効性が定性的および定量的に実証されています。
Head generation with diverse identities is an important task in computer vision and computer graphics, widely used in multimedia applications. However, current full head generation methods require a large number of 3D scans or multi-view images to train the model, resulting in expensive data acquisition cost. To address this issue, we propose Head3D, a method to generate full 3D heads with limited multi-view images. Specifically, our approach first extracts facial priors represented by tri-planes learned in EG3D, a 3D-aware generative model, and then proposes feature distillation to deliver the 3D frontal faces into complete heads without compromising head integrity. To mitigate the domain gap between the face and head models, we present dual-discriminators to guide the frontal and back head generation, respectively. Our model achieves cost-efficient and diverse complete head generation with photo-realistic renderings and high-quality geometry representations. Extensive experiments demonstrate the effectiveness of our proposed Head3D, both qualitatively and quantitatively.
updated: Tue Mar 28 2023 11:12:26 GMT+0000 (UTC)
published: Tue Mar 28 2023 11:12:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト