仮想試着は、特にこのパンデミックの際に現実世界に深刻な影響を与える可能性のある、コンピュータグラフィックスとヒューマンコンピュータインタラクションの有望なアプリケーションです。既存の画像ベースの作品は、ターゲットの衣服の単一の画像から試着画像を合成しようとしますが、それは本質的に可能な相互作用に反応する能力を制限します。手で衣服を引っ張ったり伸ばしたりするだけでなく、ポーズや体のサイズの変化によるしわの変化を再現することは困難です。この論文では、体系的にキャプチャされた多くの画像を使用してモデルをトレーニングすることにより、このような豊富な相互作用を処理するための、衣服ごとのキャプチャおよび合成ワークフローの代替案を提案します。私たちのワークフローは、衣服のキャプチャと服を着た人物の画像合成の2つの部分で構成されています。作動マネキンと、さまざまな体のサイズとポーズで対象の衣服の詳細な変形を収集する効率的なキャプチャプロセスを設計しました。さらに、カスタムデザインの測定衣服の使用を提案し、測定衣服とターゲット衣服のペア画像をキャプチャしました。次に、画像から画像への深い変換を使用して、測定衣服とターゲット衣服の間のマッピングを学習します。その後、顧客はオンラインショッピング中に対象の衣服をインタラクティブに試すことができます。
Virtual try-on is a promising application of computer graphics and human computer interaction that can have a profound real-world impact especially during this pandemic. Existing image-based works try to synthesize a try-on image from a single image of a target garment, but it inherently limits the ability to react to possible interactions. It is difficult to reproduce the change of wrinkles caused by pose and body size change, as well as pulling and stretching of the garment by hand. In this paper, we propose an alternative per garment capture and synthesis workflow to handle such rich interactions by training the model with many systematically captured images. Our workflow is composed of two parts: garment capturing and clothed person image synthesis. We designed an actuated mannequin and an efficient capturing process that collects the detailed deformations of the target garments under diverse body sizes and poses. Furthermore, we proposed to use a custom-designed measurement garment, and we captured paired images of the measurement garment and the target garments. We then learn a mapping between the measurement garment and the target garments using deep image-to-image translation. The customer can then try on the target garments interactively during online shopping.