この論文は、ポーズ転送、すなわち、所与の人のポーズをターゲットポーズに転送するための新しい生成的敵対的ネットワークを提案する。一連の転送ブロックで構成されるプログレッシブジェネレータを設計します。各ブロックは、注意メカニズムを使用して、状態とターゲットポーズの関係をモデル化することにより、中間転送ステップを実行します。 2種類のブロック、すなわちポーズ注意転送ブロック(PATB)と整列ポーズ注意転送ブロック(APATB)が導入されています。以前の作品と比較して、私たちのモデルは、入力画像と比較してより良い外観の一貫性と形状の一貫性を保持する、より写実的な人物画像を生成します。 Market-1501およびDeepFashionデータセットで、定量的および定性的な測定を使用して、モデルの有効性を検証します。さらに、私たちの方法が個人再識別タスクのデータ拡張に使用できることを示し、データ不足の問題を軽減します。コードと事前トレーニング済みモデルは、https://github.com/tengteng95/Pose-Transfer.gitで入手できます。
This paper proposes a new generative adversarial network for pose transfer, i.e., transferring the pose of a given person to a target pose. We design a progressive generator which comprises a sequence of transfer blocks. Each block performs an intermediate transfer step by modeling the relationship between the condition and the target poses with attention mechanism. Two types of blocks are introduced, namely Pose-Attentional Transfer Block (PATB) and Aligned Pose-Attentional Transfer Bloc ~(APATB). Compared with previous works, our model generates more photorealistic person images that retain better appearance consistency and shape consistency compared with input images. We verify the efficacy of the model on the Market-1501 and DeepFashion datasets, using quantitative and qualitative measures. Furthermore, we show that our method can be used for data augmentation for the person re-identification task, alleviating the issue of data insufficiency. Code and pretrained models are available at https://github.com/tengteng95/Pose-Transfer.git.