単眼画像からの3D人体再構成は、複数のドメインでより幅広いアプリケーションを使用するコンピュータービジョンにおいて、興味深く、不適切な問題です。この論文では、単眼画像からゆったりとした衣服を着た3Dの人々の詳細な形状と外観を正確に復元する、新しいエンドツーエンドのトレーニング可能なネットワークであるSHARPを提案します。衣服モデルのノンパラメトリック剥離深度マップ表現を使用して、パラメトリックボディのスパースで効率的な融合を提案します。パラメトリックボディは、2つの方法でモデルを事前に制約します。1つは、ネットワークが衣服によって遮られない幾何学的に一貫したボディパーツを保持すること、もう1つは、剥離した深度マップの予測を改善するボディ形状コンテキストを提供することです。これにより、SHARPは、入力画像が与えられた場合に、2Dマップ上でL1損失だけで、きめの細かい3D幾何学的詳細を復元できます。公開されているCloth3DおよびTHumanデータセットでSHARPを評価し、最先端のアプローチよりも優れたパフォーマンスを報告します。
3D human body reconstruction from monocular images is an interesting and ill-posed problem in computer vision with wider applications in multiple domains. In this paper, we propose SHARP, a novel end-to-end trainable network that accurately recovers the detailed geometry and appearance of 3D people in loose clothing from a monocular image. We propose a sparse and efficient fusion of a parametric body prior with a non-parametric peeled depth map representation of clothed models. The parametric body prior constraints our model in two ways: first, the network retains geometrically consistent body parts that are not occluded by clothing, and second, it provides a body shape context that improves prediction of the peeled depth maps. This enables SHARP to recover fine-grained 3D geometrical details with just L1 losses on the 2D maps, given an input image. We evaluate SHARP on publicly available Cloth3D and THuman datasets and report superior performance to state-of-the-art approaches.