人体の3D表現と再構成は、コンピュータビジョンで長い間研究されてきました。従来の方法は、主にパラメトリック統計線形モデルに依存しており、可能なボディのスペースを線形結合に制限しています。いくつかのアプローチが人体モデリングのために神経陰的表現を活用しようとするのはごく最近のことであり、印象的な結果を示しながら、それらは表現能力によって制限されるか、物理的に意味がなく制御可能ではありません。この作品では、人体の新しい神経陰的表現を提案します。これは、完全に微分可能であり、解きほぐされた形状とポーズの潜在空間で最適化可能です。以前の作業とは異なり、私たちの表現はキネマティックモデルに基づいて設計されているため、ポーズアニメーションなどのタスクで表現を制御できると同時に、3Dフィッティングやポーズトラッキングなどのタスクで形状とポーズを最適化できます。私たちのモデルは、適切に設計された損失を伴う非水密の生データで直接トレーニングおよび微調整することができます。実験は、SoTAアプローチよりも改善された3D再構成パフォーマンスを示し、形状補間、モデルフィッティング、ポーズトラッキング、およびモーションリターゲティングへの私たちの方法の適用可能性を示しています。
3D representation and reconstruction of human bodies have been studied for a long time in computer vision. Traditional methods rely mostly on parametric statistical linear models, limiting the space of possible bodies to linear combinations. It is only recently that some approaches try to leverage neural implicit representations for human body modeling, and while demonstrating impressive results, they are either limited by representation capability or not physically meaningful and controllable. In this work, we propose a novel neural implicit representation for the human body, which is fully differentiable and optimizable with disentangled shape and pose latent spaces. Contrary to prior work, our representation is designed based on the kinematic model, which makes the representation controllable for tasks like pose animation, while simultaneously allowing the optimization of shape and pose for tasks like 3D fitting and pose tracking. Our model can be trained and fine-tuned directly on non-watertight raw data with well-designed losses. Experiments demonstrate the improved 3D reconstruction performance over SoTA approaches and show the applicability of our method to shape interpolation, model fitting, pose tracking, and motion retargeting.