衣服は複雑な幾何学的変形を経て、外観が変化します。物理的にもっともらしい方法で人間のビデオを編集するには、テクスチャ マップは、体の動きと衣服のフィッティングによって引き起こされる衣服の変形だけでなく、3D のきめの細かいサーフェス ジオメトリも考慮に入れる必要があります。ただし、これは、画像またはビデオから動的な衣服を 3D 再構成するという新たな課題をもたらします。この論文では、3D再構成なしで、着飾った人物の画像とビデオを編集できることを示します。画像内の衣服領域とテクスチャ空間の間のジオメトリを意識したテクスチャ マップ、別名 UV マップを推定します。私たちの UV マップは、画像から予測された 3D サーフェスの法線を利用することで、下にある 3D サーフェスに対してアイソメを維持するように設計されています。私たちのアプローチは、UV マップのグラウンド トゥルース アノテーションを必要とせず、時間的にコヒーレントな UV マップを予測するために容易に拡張できます。私たちの方法は、実際のデータと合成データの両方で、最先端の人間の UV マップ推定アプローチよりも優れていることを示しています。
Clothes undergo complex geometric deformations, which lead to appearance changes. To edit human videos in a physically plausible way, a texture map must take into account not only the garment transformation induced by the body movements and clothes fitting, but also its 3D fine-grained surface geometry. This poses, however, a new challenge of 3D reconstruction of dynamic clothes from an image or a video. In this paper, we show that it is possible to edit dressed human images and videos without 3D reconstruction. We estimate a geometry aware texture map between the garment region in an image and the texture space, a.k.a, UV map. Our UV map is designed to preserve isometry with respect to the underlying 3D surface by making use of the 3D surface normals predicted from the image. Our approach captures the underlying geometry of the garment in a self-supervised way, requiring no ground truth annotation of UV maps and can be readily extended to predict temporally coherent UV maps. We demonstrate that our method outperforms the state-of-the-art human UV map estimation approaches on both real and synthetic data.