3次元人体モデルは、人間の姿勢や動きの分析に広く使用されています。ただし、既存のモデルは、最小限の服を着た3Dスキャンから学習されるため、一般的な画像やビデオで服を着た人々の複雑さを一般化しません。さらに、現在のモデルには、ポーズに依存する衣服形状の複雑な非線形ジオメトリを表現するために必要な表現力がありません。これに対処するために、さまざまなポーズと服装の3Dスキャンから、服を着た人の生成3Dメッシュモデルを学習します。具体的には、SMPLボディモデルから衣服の変形を学習するために条件付きMesh-VAE-GANをトレーニングし、衣服をSMPLの追加用語にします。私たちのモデルは、ポーズと衣服のタイプの両方に条件付けられており、さまざまなスタイルやポーズでさまざまな体の形に服を着せるために衣料品のサンプルを描くことができます。しわの詳細を維持するために、Mesh-VAE-GANはパッチワイズ弁別器を3Dメッシュに拡張します。 CAPEという名前のモデルは、グローバルな形状と微細な局所構造を表し、SMPLボディモデルを衣服に効果的に拡張します。私たちの知る限り、これは3D人体メッシュを直接ドレスアップし、さまざまなポーズに一般化する最初の生成モデルです。モデル、コード、およびデータは、研究目的でhttps://cape.is.tue.mpg.deから入手できます。
Three-dimensional human body models are widely used in the analysis of human pose and motion. Existing models, however, are learned from minimally-clothed 3D scans and thus do not generalize to the complexity of dressed people in common images and videos. Additionally, current models lack the expressive power needed to represent the complex non-linear geometry of pose-dependent clothing shapes. To address this, we learn a generative 3D mesh model of clothed people from 3D scans with varying pose and clothing. Specifically, we train a conditional Mesh-VAE-GAN to learn the clothing deformation from the SMPL body model, making clothing an additional term in SMPL. Our model is conditioned on both pose and clothing type, giving the ability to draw samples of clothing to dress different body shapes in a variety of styles and poses. To preserve wrinkle detail, our Mesh-VAE-GAN extends patchwise discriminators to 3D meshes. Our model, named CAPE, represents global shape and fine local structure, effectively extending the SMPL body model to clothing. To our knowledge, this is the first generative model that directly dresses 3D human body meshes and generalizes to different poses. The model, code and data are available for research purposes at https://cape.is.tue.mpg.de.