画像仮想試着は、衣服の画像(対象の衣服)を人物の画像に適合させることを目的としています。以前の方法は、人間の構文解析に大きく基づいています。ただし、セグメンテーションの結果がわずかに間違っていると、大きなアーティファクトを含む非現実的な試着画像になります。不正確な構文解析は、パーサーベースの方法を誤解させて、アーティファクトが通常発生する場所で視覚的に非現実的な結果を生成します。最近の先駆的な研究では、知識の蒸留を使用して人間の構文解析の依存性を減らしました。パーサーベースの方法で生成された試着画像を監視として使用して、セグメンテーションに依存せずに「学生」ネットワークをトレーニングし、学生に試用を模倣させます。 -パーサーベースのモデルの能力について。ただし、学生の画質はパーサーベースのモデルによって制限されます。この問題に対処するために、我々は、従来技術と比較していくつかの魅力的な利点を有し、人間の構文解析なしで非常に写実的な画像を生成することができる新しいアプローチ、「教師-教師-学生」知識蒸留を提案する。 (1)私たちのアプローチは、既存の作品とは異なり、パーサーベースの方法で生成された偽の画像を「家庭教師の知識」として扱います。この方法では、自己の実在の人物の画像から抽出された実際の「教師の知識」によってアーティファクトを修正できます。 -監視された方法。 (2)実像を監督する以外に、人物画像と衣服画像の間の外観の流れを抽出することで、試着問題における知識蒸留を定式化し、それらの間の正確で密な対応を見つけて高品質の結果を生成できるようにします。 。 (3)広範な評価は、我々の方法の大きな優位性を示しています(図1を参照)。
Image virtual try-on aims to fit a garment image (target clothes) to a person image. Prior methods are heavily based on human parsing. However, slightly-wrong segmentation results would lead to unrealistic try-on images with large artifacts. Inaccurate parsing misleads parser-based methods to produce visually unrealistic results where artifacts usually occur. A recent pioneering work employed knowledge distillation to reduce the dependency of human parsing, where the try-on images produced by a parser-based method are used as supervisions to train a "student" network without relying on segmentation, making the student mimic the try-on ability of the parser-based model. However, the image quality of the student is bounded by the parser-based model. To address this problem, we propose a novel approach, "teacher-tutor-student" knowledge distillation, which is able to produce highly photo-realistic images without human parsing, possessing several appealing advantages compared to prior arts. (1) Unlike existing work, our approach treats the fake images produced by the parser-based method as "tutor knowledge", where the artifacts can be corrected by real "teacher knowledge", which is extracted from the real person images in a self-supervised way. (2) Other than using real images as supervisions, we formulate knowledge distillation in the try-on problem as distilling the appearance flows between the person image and the garment image, enabling us to find accurate dense correspondences between them to produce high-quality results. (3) Extensive evaluations show large superiority of our method (see Fig. 1).