人間間の密な対応は、野生の表面のマッチング、追跡、再構築など、全身を理解するための基本的な問題を解決するために利用できる強力な意味情報を運びます。この論文では、BodyMapを紹介します。これは、衣服を着た人間の野生の画像と3Dテンプレートモデルの表面との間の高解像度の全身および連続的な密な対応を取得するための新しいフレームワークです。手や髪の毛などの細かい部分をカバーし、ゆったりとした衣服など、体の表面から遠く離れた部分をキャプチャします。このような高密度の表面対応を推定するための従来の方法は、i)3Dボディを2D UV空間にアンラップされたパーツにカットし、パーツの継ぎ目に沿って不連続性を生成するか、ii)ボディ全体を表すために単一のサーフェスを使用しますが、ボディの詳細は処理しませんでした。ここでは、連続した体の表面で細かいレベルの機能を学習するVisionTransformersを使用した新しいネットワークアーキテクチャを紹介します。 BodyMapは、DensePose-COCOを含むさまざまなメトリックとデータセットに関する以前の作業を大幅に上回っています。さらに、多層の密な布の対応、斬新なビューの合成によるニューラルレンダリング、外観の交換など、さまざまなアプリケーションを紹介します。
Dense correspondence between humans carries powerful semantic information that can be utilized to solve fundamental problems for full-body understanding such as in-the-wild surface matching, tracking and reconstruction. In this paper we present BodyMap, a new framework for obtaining high-definition full-body and continuous dense correspondence between in-the-wild images of clothed humans and the surface of a 3D template model. The correspondences cover fine details such as hands and hair, while capturing regions far from the body surface, such as loose clothing. Prior methods for estimating such dense surface correspondence i) cut a 3D body into parts which are unwrapped to a 2D UV space, producing discontinuities along part seams, or ii) use a single surface for representing the whole body, but none handled body details. Here, we introduce a novel network architecture with Vision Transformers that learn fine-level features on a continuous body surface. BodyMap outperforms prior work on various metrics and datasets, including DensePose-COCO by a large margin. Furthermore, we show various applications ranging from multi-layer dense cloth correspondence, neural rendering with novel-view synthesis and appearance swapping.