arXiv reaDer
Appearance and Pose-Conditioned Human Image Generation using Deformable GANs
  この論文では、ポーズと外観の両方の情報を条件とする人物画像を生成する問題に取り組んでいます。具体的には、人物の画像xaと異なる画像xbから抽出されたターゲットポーズP(xb)が与えられた場合、xaの視覚的な詳細を保持しながら、ポーズP(xb)でその人物の新しい画像を合成します。 P(xa)とP(xb)のポーズの違いによって引き起こされるピクセル間の不整合に対処するために、Generative Adversarial Networkのジェネレーターに変形可能なスキップ接続を導入します。さらに、生成された画像の詳細をターゲット画像と一致させるために、一般的なL1およびL2損失の代わりに最近傍損失が提案されます。このタスクのために最近提案された一般的なデータセットとプロトコルを使用した定量的および定性的結果は、私たちのアプローチが最新技術に関して競争力があることを示しています。さらに、このタスクの主な重要なアプリケーションの1つである、個人生成ベースの拡張データでトレーニングされたオフザシェル個人再識別(Re-ID)システムを使用して広範な評価を行います。私たちの実験は、変形可能なGANがRe-IDの精度を大幅に向上させ、Re-ID損失を使用して特別にトレーニングされたデータ拡張方法よりも優れていることを示しています。
In this paper, we address the problem of generating person images conditioned on both pose and appearance information. Specifically, given an image xa of a person and a target pose P(xb), extracted from a different image xb, we synthesize a new image of that person in pose P(xb), while preserving the visual details in xa. In order to deal with pixel-to-pixel misalignments caused by the pose differences between P(xa) and P(xb), we introduce deformable skip connections in the generator of our Generative Adversarial Network. Moreover, a nearest-neighbour loss is proposed instead of the common L1 and L2 losses in order to match the details of the generated image with the target image. Quantitative and qualitative results, using common datasets and protocols recently proposed for this task, show that our approach is competitive with respect to the state of the art. Moreover, we conduct an extensive evaluation using off-the-shell person re-identification (Re-ID) systems trained with person-generation based augmented data, which is one of the main important applications for this task. Our experiments show that our Deformable GANs can significantly boost the Re-ID accuracy and are even better than data-augmentation methods specifically trained using Re-ID losses.
updated: Mon Oct 14 2019 15:06:52 GMT+0000 (UTC)
published: Tue Apr 30 2019 07:35:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト