ある人物と、別の人が着用している衣服を描いた 2 つの画像が与えられた場合、私たちの目標は、その衣服が入力された人物にどのように見えるかを視覚化することです。主な課題は、被写体全体の大幅な体のポーズや形状の変化に対応するために衣服をワープしながら、衣服のフォトリアリスティックなディテールを維持したビジュアライゼーションを合成することです。従来の方法は、効果的なポーズや形状のバリエーションを持たずに衣服の細部の保存に焦点を当てているか、または所望の形状や姿勢での試着は可能ですが、衣服の詳細が欠けているかのどちらかでした。この論文では、2 つの UNet (Parallel-UNet と呼ばれる) を統合する拡散ベースのアーキテクチャを提案します。これにより、衣服の詳細を保存し、単一のネットワーク内で大幅なポーズや身体の変化に合わせて衣服をワープすることができます。 Parallel-UNet の背後にある重要なアイデアには、1) クロス アテンション メカニズムによって衣服が暗黙的にワープされる、2) 衣服のワープと人物のブレンドが 2 つの別々のタスクのシーケンスではなく、統一されたプロセスの一部として発生する、などが含まれます。実験結果は、TryOnDiffusion が定性的にも量的にも最先端のパフォーマンスを達成していることを示しています。
Given two images depicting a person and a garment worn by another person, our goal is to generate a visualization of how the garment might look on the input person. A key challenge is to synthesize a photorealistic detail-preserving visualization of the garment, while warping the garment to accommodate a significant body pose and shape change across the subjects. Previous methods either focus on garment detail preservation without effective pose and shape variation, or allow try-on with the desired shape and pose but lack garment details. In this paper, we propose a diffusion-based architecture that unifies two UNets (referred to as Parallel-UNet), which allows us to preserve garment details and warp the garment for significant pose and body change in a single network. The key ideas behind Parallel-UNet include: 1) garment is warped implicitly via a cross attention mechanism, 2) garment warp and person blend happen as part of a unified process as opposed to a sequence of two separate tasks. Experimental results indicate that TryOnDiffusion achieves state-of-the-art performance both qualitatively and quantitatively.