arXiv reaDer
Poly-GAN: Multi-Conditioned GAN for Fashion Synthesis
  Poly-GANは、ファッション合成によって動機付けられた新しい条件付きGANアーキテクチャであり、任意のポーズで人間のモデルの画像に衣服が自動的に配置されるアプリケーションです。 Poly-GANは、複数の入力の調整を可能にし、画像の位置合わせ、画像のつなぎ合わせ、修復などの多くのタスクに適しています。既存の方法には同様のパイプラインがあり、3つの異なるネットワークを使用して最初に衣服を人間のポーズに合わせ、次に調整された衣服のステッチングを実行し、最終的に結果を調整します。 Poly-GANは、3つのタスクすべてを実行するために共通のアーキテクチャが使用される最初のインスタンスです。当社の新しいアーキテクチャは、エンコーダーのすべてのレイヤーで条件を強制し、エンコーダーの粗いレイヤーからデコーダーのそれぞれのレイヤーへのスキップ接続を利用します。 Poly-GANは、任意のポーズでモデルのRGBスケルトンに基づいて衣服の空間変換を実行できます。さらに、Poly-GANは衣服の向きに関係なく画像のステッチングを実行でき、不規則な穴が含まれている場合は衣服マスクを修復できます。私たちのシステムは、DeepFashionデータセットを使用して、構造的類似性指標とインセプションスコア指標で最先端の定量的結果を達成します。
We present Poly-GAN, a novel conditional GAN architecture that is motivated by Fashion Synthesis, an application where garments are automatically placed on images of human models at an arbitrary pose. Poly-GAN allows conditioning on multiple inputs and is suitable for many tasks, including image alignment, image stitching, and inpainting. Existing methods have a similar pipeline where three different networks are used to first align garments with the human pose, then perform stitching of the aligned garment and finally refine the results. Poly-GAN is the first instance where a common architecture is used to perform all three tasks. Our novel architecture enforces the conditions at all layers of the encoder and utilizes skip connections from the coarse layers of the encoder to the respective layers of the decoder. Poly-GAN is able to perform a spatial transformation of the garment based on the RGB skeleton of the model at an arbitrary pose. Additionally, Poly-GAN can perform image stitching, regardless of the garment orientation, and inpainting on the garment mask when it contains irregular holes. Our system achieves state-of-the-art quantitative results on Structural Similarity Index metric and Inception Score metric using the DeepFashion dataset.
updated: Thu Sep 05 2019 00:29:39 GMT+0000 (UTC)
published: Thu Sep 05 2019 00:29:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト