arXiv reaDer
非常に現実的な仮想試着のための解きほぐされたサイクルの一貫性
Disentangled Cycle Consistency for Highly-realistic Virtual Try-On
画像仮想試着は、人物画像の洋服を希望の店内洋服画像に置き換えます。人と店内の服が対になっていないので、それは挑戦的です。既存の方法では、仮想試着を塗装中またはサイクルの一貫性として定式化します。これらの2つの定式化は両方とも、生成ネットワークが自己監視方式で入力画像を再構築することを奨励します。ただし、既存の方法では、衣類と非衣類の領域を区別していません。単純な生成は、画像コンテンツが密に結合されているため、仮想試着の品質を妨げます。この論文では、解きほぐされたサイクル整合性トライオンネットワーク(DCTON)を提案します。 DCTONは、衣服の反り、肌の合成、画像構成など、仮想試着の重要なコンポーネントを解きほぐすことにより、非常にリアルな試着画像を生成できます。この目的のために、DCTONは、サイクル一貫性学習に続いて、自己教師ありの方法で自然にトレーニングできます。挑戦的なベンチマークに関する広範な実験は、DCTONが最先端のアプローチを上回っていることを示しています。
Image virtual try-on replaces the clothes on a person image with a desired in-shop clothes image. It is challenging because the person and the in-shop clothes are unpaired. Existing methods formulate virtual try-on as either in-painting or cycle consistency. Both of these two formulations encourage the generation networks to reconstruct the input image in a self-supervised manner. However, existing methods do not differentiate clothing and non-clothing regions. A straight-forward generation impedes virtual try-on quality because of the heavily coupled image contents. In this paper, we propose a Disentangled Cycle-consistency Try-On Network (DCTON). The DCTON is able to produce highly-realistic try-on images by disentangling important components of virtual try-on including clothes warping, skin synthesis, and image composition. To this end, DCTON can be naturally trained in a self-supervised manner following cycle consistency learning. Extensive experiments on challenging benchmarks show that DCTON outperforms state-of-the-art approaches favorably.
updated: Wed Mar 17 2021 07:18:55 GMT+0000 (UTC)
published: Wed Mar 17 2021 07:18:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト