2D 画像ベースの仮想試着は、その商業的価値が非常に高いため、マルチメディアおよびコンピュータ ビジョンの分野からの関心が高まっています。それにもかかわらず、既存の画像ベースの仮想試着アプローチのほとんどは、人物のアイデンティティ表現と店内の衣料品を、相互の相関関係を考慮せずに直接組み合わせています。さらに、これらの方法は通常、純粋な畳み込みニューラル ネットワーク (CNN) アーキテクチャ上で確立されており、入力ピクセル間の長距離相関を捕捉するのは簡単ではありません。その結果、一般に一貫性のない結果が得られます。これらの問題を軽減するために、本論文では、仮想試着タスクのための新しい 2 段階の布地インタラクティブ トランスフォーマー (CIT) 方法を提案します。最初の段階では、布地にとらわれない人物情報と店内の布地情報の間の長距離相関を正確に捕捉することを目的として、CIT マッチング ブロックを設計します。その結果、歪んだ店内の衣料品の外観がより自然になります。第 2 段階では、人物表現、歪んだ衣料品、および対応する歪んだ布マスク間のグローバルな相互インタラクティブな依存関係を確立するための CIT 推論ブロックを提案しました。相互依存関係に基づいた経験的な結果は、最終的な試着結果がより現実的であることを示しています。公開されているファッション データセットに関する実質的な実証結果は、提案された CIT が競争力のある仮想試着パフォーマンスを達成していることを示しています。
The 2D image-based virtual try-on has aroused increased interest from the multimedia and computer vision fields due to its enormous commercial value. Nevertheless, most existing image-based virtual try-on approaches directly combine the person-identity representation and the in-shop clothing items without taking their mutual correlations into consideration. Moreover, these methods are commonly established on pure convolutional neural networks (CNNs) architectures which are not simple to capture the long-range correlations among the input pixels. As a result, it generally results in inconsistent results. To alleviate these issues, in this paper, we propose a novel two-stage cloth interactive transformer (CIT) method for the virtual try-on task. During the first stage, we design a CIT matching block, aiming to precisely capture the long-range correlations between the cloth-agnostic person information and the in-shop cloth information. Consequently, it makes the warped in-shop clothing items look more natural in appearance. In the second stage, we put forth a CIT reasoning block for establishing global mutual interactive dependencies among person representation, the warped clothing item, and the corresponding warped cloth mask. The empirical results, based on mutual dependencies, demonstrate that the final try-on results are more realistic. Substantial empirical results on a public fashion dataset illustrate that the suggested CIT attains competitive virtual try-on performance.