画像ベースの仮想試着は、その途方もない現実世界の可能性のために、人間中心の画像生成の最も有望なアプリケーションの1つです。それでも、ほとんどの試着アプローチは店内の衣服を対象者に適合させるため、ペアのトレーニングデータセットを面倒で制限的に構築する必要があり、スケーラビリティが大幅に制限されます。最近のいくつかの作品では、衣服をある人から別の人に直接転送して、ペアのデータセットを収集する必要性を軽減しようとしていますが、ペアの(監視された)情報が不足しているため、パフォーマンスに影響があります。特に、衣服のスタイルと空間情報を解きほぐすことが課題になります。既存の方法では、補助データまたは広範なオンライン最適化手順を要求することで対処し、それによってスケーラビリティを阻害します。教師なしでソースとターゲットの人の間で任意の衣服を転送できるスケーラブルな仮想試着システムを実現するために、テクスチャを保持するエンドツーエンドネットワークであるPAtchルーティングSpaTially-Adaptive GAN(PASTA -GAN)、これは実際のペアになっていない仮想試着を容易にします。具体的には、各衣服のスタイルと空間情報を解きほぐすために、PASTA-GANは、衣服のテクスチャと形状の特性を正常に保持するための革新的なパッチルーティング解きほぐしモジュールで構成されています。パッチルーティングされた解きほぐしモジュールは、ソースパーソンのキーポイントに基づいて、最初に衣服を正規化されたパッチに分離し、衣服の固有の空間情報を削除してから、ターゲット人物のポーズに合わせてワープされた衣服に正規化されたパッチを再構築します。ゆがんだ衣服を考えると、PASTA-GANはさらに、ジェネレータがより現実的な衣服の詳細を合成するようにガイドする、新しい空間適応型の残余ブロックを導入します。
Image-based virtual try-on is one of the most promising applications of human-centric image generation due to its tremendous real-world potential. Yet, as most try-on approaches fit in-shop garments onto a target person, they require the laborious and restrictive construction of a paired training dataset, severely limiting their scalability. While a few recent works attempt to transfer garments directly from one person to another, alleviating the need to collect paired datasets, their performance is impacted by the lack of paired (supervised) information. In particular, disentangling style and spatial information of the garment becomes a challenge, which existing methods either address by requiring auxiliary data or extensive online optimization procedures, thereby still inhibiting their scalability. To achieve a scalable virtual try-on system that can transfer arbitrary garments between a source and a target person in an unsupervised manner, we thus propose a texture-preserving end-to-end network, the PAtch-routed SpaTially-Adaptive GAN (PASTA-GAN), that facilitates real-world unpaired virtual try-on. Specifically, to disentangle the style and spatial information of each garment, PASTA-GAN consists of an innovative patch-routed disentanglement module for successfully retaining garment texture and shape characteristics. Guided by the source person keypoints, the patch-routed disentanglement module first decouples garments into normalized patches, thus eliminating the inherent spatial information of the garment, and then reconstructs the normalized patches to the warped garment complying with the target person pose. Given the warped garment, PASTA-GAN further introduces novel spatially-adaptive residual blocks that guide the generator to synthesize more realistic garment details.