arXiv reaDer
MetaHead: リアルなデジタル ヘッドを作成するエンジン
MetaHead: An Engine to Create Realistic Digital Head
トレーニング データの収集とラベル付けは、学習ベースの方法にとって重要なステップの 1 つです。プロセスには時間がかかり、偏りがあるためです。顔分析タスクの場合、一部の生成モデルを使用して顔データを生成できますが、世代の多様性、再構成の精度、3D の一貫性、忠実度の高いビジュアル品質、および編集の容易さのサブセットしか実現できません。最近の関連する研究の 1 つは、グラフィックス ベースのジェネレーティブ メソッドですが、計算コストが高く、リアリズムの低い頭部しかレンダリングできません。この論文では、MetaHead を提案します。MetaHead は、ビューの一貫性のある 3D 制御可能デジタル ヘッドを超現実的に生成または再構築するための制御可能ヘッド放射輝度フィールド (MetaHead-F) と汎用トップで構成されます。 -down 画像生成フレームワーク LabelHead を使用して、指定されたカスタマイズ可能な機能ラベルと一致するデジタル ヘッドを生成します。実験により、当社の制御可能なデジタル ヘッド エンジンが最先端の世代の視覚的品質と再構成精度を達成することが検証されています。さらに、生成されたラベル付きデータは、実際のトレーニング データを支援し、トレーニング効果の点で、グラフィックス ベースの方法で生成されたラベル付きデータを大幅に上回ることができます。
Collecting and labeling training data is one important step for learning-based methods because the process is time-consuming and biased. For face analysis tasks, although some generative models can be used to generate face data, they can only achieve a subset of generation diversity, reconstruction accuracy, 3D consistency, high-fidelity visual quality, and easy editability. One recent related work is the graphics-based generative method, but it can only render low realism head with high computation cost. In this paper, we propose MetaHead, a unified and full-featured controllable digital head engine, which consists of a controllable head radiance field(MetaHead-F) to super-realistically generate or reconstruct view-consistent 3D controllable digital heads and a generic top-down image generation framework LabelHead to generate digital heads consistent with the given customizable feature labels. Experiments validate that our controllable digital head engine achieves the state-of-the-art generation visual quality and reconstruction accuracy. Moreover, the generated labeled data can assist real training data and significantly surpass the labeled data generated by graphics-based methods in terms of training effect.
updated: Mon Apr 03 2023 09:29:17 GMT+0000 (UTC)
published: Mon Apr 03 2023 09:29:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト