ポーズガイド付き合成は、ソースイメージの外観の詳細を保持しながら、任意のターゲットポーズで新しいイメージを生成することを目的としています。既存のアプローチは、ハードコーディングされた空間変換または3D身体モデリングに依存しています。それらはしばしば、複雑で非剛直な姿勢の変形または一致しないオクルード領域を見落とすため、外観情報を効果的に保存できません。本論文では、ソース画像から外観の詳細を転送することを学習する教師なしポーズフロー学習方式を提案します。このような学習されたポーズフローに基づいて、GarmentNetとSynthesisNetを提案しました。どちらも、粗から微までの合成にマルチスケール機能ドメインアライメントを使用します。 DeepFashion、MVCデータセット、および追加の実世界のデータセットに関する実験により、このアプローチが最先端の方法と比較して有利であり、見えないポーズや衣服スタイルに一般化されることが実証されています。
Pose guided synthesis aims to generate a new image in an arbitrary target pose while preserving the appearance details from the source image. Existing approaches rely on either hard-coded spatial transformations or 3D body modeling. They often overlook complex non-rigid pose deformation or unmatched occluded regions, thus fail to effectively preserve appearance information. In this paper, we propose an unsupervised pose flow learning scheme that learns to transfer the appearance details from the source image. Based on such learned pose flow, we proposed GarmentNet and SynthesisNet, both of which use multi-scale feature-domain alignment for coarse-to-fine synthesis. Experiments on the DeepFashion, MVC dataset and additional real-world datasets demonstrate that our approach compares favorably with the state-of-the-art methods and generalizes to unseen poses and clothing styles.