深層学習近似として表される陰関数は、3D表面を再構築するのに強力です。ただし、制御できない静的なサーフェスしか生成できないため、ポーズまたはシェイプパラメータを編集して結果のモデルを変更する機能が制限されます。それにもかかわらず、そのような機能は、コンピューターグラフィックスとコンピュータービジョンの両方の柔軟なモデルを構築する上で不可欠です。この作業では、衣服の存在下でも制御可能で正確な人の3Dモデルを再構築するために、詳細が豊富な陰関数とパラメトリック表現を組み合わせる方法論を紹介します。服を着た人の表面でサンプリングされた疎な3D点群が与えられた場合、私たちはインプリシットパーツネットワーク(IP-Net)を使用して、服を着た人の外側の3D表面、身体の内側と内側の表面、およびパラメトリックへのセマンティック対応を予測します。ボディモデル。その後、対応関係を使用してボディモデルを内面にフィットさせ、それを(パラメトリックボディ+変位モデルの下で)非剛体的に外面に変形させて、衣服、顔、髪のディテールをキャプチャします。全身データとハンドスキャンの両方を使用した定量的および定性的実験では、提案された方法が一般化し、単一ビューの深度画像から収集された不完全な点群であっても効果的であることを示しています。モデルとコードは、http://virtualhumans.mpi-inf.mpg.de/ipnetからダウンロードできます。
Implicit functions represented as deep learning approximations are powerful for reconstructing 3D surfaces. However, they can only produce static surfaces that are not controllable, which provides limited ability to modify the resulting model by editing its pose or shape parameters. Nevertheless, such features are essential in building flexible models for both computer graphics and computer vision. In this work, we present methodology that combines detail-rich implicit functions and parametric representations in order to reconstruct 3D models of people that remain controllable and accurate even in the presence of clothing. Given sparse 3D point clouds sampled on the surface of a dressed person, we use an Implicit Part Network (IP-Net)to jointly predict the outer 3D surface of the dressed person, the and inner body surface, and the semantic correspondences to a parametric body model. We subsequently use correspondences to fit the body model to our inner surface and then non-rigidly deform it (under a parametric body + displacement model) to the outer surface in order to capture garment, face and hair detail. In quantitative and qualitative experiments with both full body data and hand scans we show that the proposed methodology generalizes, and is effective even given incomplete point clouds collected from single-view depth images. Our models and code can be downloaded from http://virtualhumans.mpi-inf.mpg.de/ipnet.