このペーパーでは、単一の画像から詳細なアバターを復元するための新しいフレームワークを紹介します。人間の形、体のポーズ、質感、視点の変化などの要因により、これは困難な作業です。以前の方法は通常、表面の詳細が欠けているパラメトリックベースのテンプレートを使用して人体の形状を復元しようとします。そのため、結果として生じる体型は衣服がないように見えます。この論文では、パラメトリックモデルのロバスト性と自由形式の3D変形の柔軟性を組み合わせた新しい学習ベースのフレームワークを提案します。ディープニューラルネットワークを使用して、体の関節、シルエット、ピクセルごとのシェーディング情報からの制約を利用して、階層メッシュ変形(HMD)フレームワークの3D形状を改良します。私たちの方法は、スキンモデルを超えた完全なテクスチャで詳細な人体の形状を復元できます。実験は、私たちの方法が以前の最先端のアプローチを上回り、2DIoU数と3Dメトリック距離の両方の点でより良い精度を達成したことを示しています。
This paper presents a novel framework to recover detailed avatar from a single image. It is a challenging task due to factors such as variations in human shapes, body poses, texture, and viewpoints. Prior methods typically attempt to recover the human body shape using a parametric-based template that lacks the surface details. As such resulting body shape appears to be without clothing. In this paper, we propose a novel learning-based framework that combines the robustness of the parametric model with the flexibility of free-form 3D deformation. We use the deep neural networks to refine the 3D shape in a Hierarchical Mesh Deformation (HMD) framework, utilizing the constraints from body joints, silhouettes, and per-pixel shading information. Our method can restore detailed human body shapes with complete textures beyond skinned models. Experiments demonstrate that our method has outperformed previous state-of-the-art approaches, achieving better accuracy in terms of both 2D IoU number and 3D metric distance.