この論文では、布のテクスチャのオクルージョンと大きな体のポーズの変化を伴う実際のファッションカタログ画像にうまく一般化できる堅牢な3D衣服デジタル化ソリューションを開発します。既知のタイプの衣服(Tシャツ、ズボンなど)の固定トポロジパラメトリックテンプレートメッシュモデルを想定し、入力カタログ画像から衣服のパラメトリックメッシュモデルに対応するUVマップパネルへの高品質テクスチャのマッピングを実行します。これは、最初に衣服の境界にある2Dランドマークのまばらなセットを予測することによって実現されます。続いて、これらのランドマークを使用して、UVマップパネルで薄板スプラインベースのテクスチャ転送を実行します。続いて、深いテクスチャ修復ネットワークを使用して、TPS出力の大きな穴(ビューのバリエーションと自己閉塞による)を埋め、一貫したUVマップを生成します。さらに、ランドマーク予測とテクスチャ修復タスクのための監視ありディープネットワークをトレーニングするために、さまざまなポーズで人間が存在するさまざまなビューから画像化されたさまざまなテクスチャと照明を使用して、大量の合成データを生成しました。さらに、オンラインのファッションeコマースプラットフォームからクロールされたファッションカタログ画像の小さなセットに手動で注釈を付けて微調整しました。私たちは徹底的な経験的評価を実施し、提案された3D衣服テクスチャソリューションの印象的な定性的結果をファッションカタログ画像に示します。このような3D衣服のデジタル化は、3D仮想試着を可能にするという困難な課題を解決するのに役立ちます。
In this paper, we develop a robust 3D garment digitization solution that can generalize well on real-world fashion catalog images with cloth texture occlusions and large body pose variations. We assumed fixed topology parametric template mesh models for known types of garments (e.g., T-shirts, Trousers) and perform mapping of high-quality texture from an input catalog image to UV map panels corresponding to the parametric mesh model of the garment. We achieve this by first predicting a sparse set of 2D landmarks on the boundary of the garments. Subsequently, we use these landmarks to perform Thin-Plate-Spline-based texture transfer on UV map panels. Subsequently, we employ a deep texture inpainting network to fill the large holes (due to view variations & self-occlusions) in TPS output to generate consistent UV maps. Furthermore, to train the supervised deep networks for landmark prediction & texture inpainting tasks, we generated a large set of synthetic data with varying texture and lighting imaged from various views with the human present in a wide variety of poses. Additionally, we manually annotated a small set of fashion catalog images crawled from online fashion e-commerce platforms to finetune. We conduct thorough empirical evaluations and show impressive qualitative results of our proposed 3D garment texture solution on fashion catalog images. Such 3D garment digitization helps us solve the challenging task of enabling 3D Virtual Try-on.