arXiv reaDer
SCANimate:肌を着た服を着たアバターネットワークの弱教師あり学習
SCANimate: Weakly Supervised Learning of Skinned Clothed Avatar Networks
SCANimateは、服を着た人間の生の3Dスキャンを取得し、アニメーション化可能なアバターに変換する、エンドツーエンドのトレーニング可能なフレームワークです。これらのアバターはポーズパラメータによって駆動され、自然に動き、変形するリアルな服を着ています。 SCANimateは、カスタマイズされたメッシュテンプレートやサーフェスメッシュ登録に依存しません。 SMPLのようなパラメトリック3Dボディモデルを衣服を着た人間のスキャンに適合させることは扱いやすいが、衣服は体の形状から大幅に逸脱する可能性があるため、スキャンへの身体トポロジーの表面レジストレーションは扱いにくいことが多い。また、関節変換は可逆的であり、ポーズをとった形状とポーズをとっていない形状で幾何学的なサイクルの一貫性が得られることも確認しました。これらの観察結果は、テンプレートベースの表面登録なしで関節変形を解きほぐすことにより、スキャンを標準的なポーズに揃える、弱教師あり学習方法につながります。さらに、ポーズに依存する変形をモデリングしながら、位置合わせされたスキャンで欠落している領域を完成させるために、学習したポーズ修正を使用してジオメトリを完成およびモデリングすることを学習する、ローカルでポーズを認識する陰関数を導入します。一般的に使用されるグローバルポーズ埋め込みとは対照的に、ローカルポーズコンディショニングは、特にトレーニングデータが限られている場合に、長距離の疑似相関を大幅に減らし、見えないポーズへの一般化を改善します。私たちの方法は、ポーズを意識した外観モデリングに適用して、完全にテクスチャ化されたアバターを生成できます。さまざまな量のトレーニングデータを使用してさまざまな種類の衣料品に対するアプローチを示し、すべての設定で忠実度と一般性の点で既存のソリューションやその他のバリエーションを上回っています。コードはhttps://scanimate.is.tue.mpg.deで入手できます。
We present SCANimate, an end-to-end trainable framework that takes raw 3D scans of a clothed human and turns them into an animatable avatar. These avatars are driven by pose parameters and have realistic clothing that moves and deforms naturally. SCANimate does not rely on a customized mesh template or surface mesh registration. We observe that fitting a parametric 3D body model, like SMPL, to a clothed human scan is tractable while surface registration of the body topology to the scan is often not, because clothing can deviate significantly from the body shape. We also observe that articulated transformations are invertible, resulting in geometric cycle consistency in the posed and unposed shapes. These observations lead us to a weakly supervised learning method that aligns scans into a canonical pose by disentangling articulated deformations without template-based surface registration. Furthermore, to complete missing regions in the aligned scans while modeling pose-dependent deformations, we introduce a locally pose-aware implicit function that learns to complete and model geometry with learned pose correctives. In contrast to commonly used global pose embeddings, our local pose conditioning significantly reduces long-range spurious correlations and improves generalization to unseen poses, especially when training data is limited. Our method can be applied to pose-aware appearance modeling to generate a fully textured avatar. We demonstrate our approach on various clothing types with different amounts of training data, outperforming existing solutions and other variants in terms of fidelity and generality in every setting. The code is available at https://scanimate.is.tue.mpg.de.
updated: Thu Apr 08 2021 06:31:02 GMT+0000 (UTC)
published: Wed Apr 07 2021 17:59:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト