arXiv reaDer
仮想試着でロバストワーピングのためのGarment DensePoseを学ぶ
Learning Garment DensePose for Robust Warping in Virtual Try-On
仮想試着、つまり人々に新しい衣服を仮想的に試着させることは、優れた商用アプリケーションを備えたコンピューター ビジョンの活発な研究分野です。現在の仮想試着方法は通常、2 段階のパイプラインで機能します。まず、衣服の画像は、フロー推定ネットワークを使用して人物のポーズに合わせて歪められます。次に、第 2 段階で、ゆがんだ衣服を人物の画像と融合させて、新しい試着画像をレンダリングします。残念ながら、このような方法は衣服の反りの質に大きく依存しており、ハードなポーズ (たとえば、腕を持ち上げたり交差させたりする人) を扱う場合には失敗することがよくあります。この作業では、人の DensePose と直接対応する学習済みの衣服 DensePose に基づいて、仮想試着のためのロバストなワーピング方法を提案します。注釈付きのデータが不足しているため、市販の人の DensePose モデルと事前トレーニング済みのフロー モデルを活用して、弱い教師あり方法で衣服の DensePose を学習する方法を示します。衣服の DensePose を使用すると、追加の計算を行うことなく、あらゆる人物のポーズに確実にワープできます。私たちの方法は、仮想試着ベンチマークで最先端の同等物を達成し、ハードポーズの野生の人物画像でワーピングの堅牢性を示し、現実世界の仮想試着アプリケーションにより適したものにします.
Virtual try-on, i.e making people virtually try new garments, is an active research area in computer vision with great commercial applications. Current virtual try-on methods usually work in a two-stage pipeline. First, the garment image is warped on the person's pose using a flow estimation network. Then in the second stage, the warped garment is fused with the person image to render a new try-on image. Unfortunately, such methods are heavily dependent on the quality of the garment warping which often fails when dealing with hard poses (e.g., a person lifting or crossing arms). In this work, we propose a robust warping method for virtual try-on based on a learned garment DensePose which has a direct correspondence with the person's DensePose. Due to the lack of annotated data, we show how to leverage an off-the-shelf person DensePose model and a pretrained flow model to learn the garment DensePose in a weakly supervised manner. The garment DensePose allows a robust warping to any person's pose without any additional computation. Our method achieves the state-of-the-art equivalent on virtual try-on benchmarks and shows warping robustness on in-the-wild person images with hard poses, making it more suited for real-world virtual try-on applications.
updated: Thu Mar 30 2023 20:02:29 GMT+0000 (UTC)
published: Thu Mar 30 2023 20:02:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト