arXiv reaDer
PISE:分離されたGANを使用した人物画像の合成と編集
PISE: Person Image Synthesis and Editing with Decoupled GAN
人物の画像合成、たとえばポーズの転送は、大きな変動とオクルージョンのために困難な問題です。既存の方法では、合理的な不可視領域を予測することが困難であり、衣服の形状とスタイルを切り離すことができないため、人物の画像編集への適用が制限されます。本論文では、人物画像の合成と編集のための新しい2段階生成モデルであるPISEを提案します。これは、目的のポーズ、テクスチャ、またはセマンティックレイアウトを備えたリアルな人物画像を生成できます。人間のポーズの転送では、最初にターゲットポーズに合わせた人間の解析マップを合成して、解析ジェネレーターで衣服の形状を表現し、次に画像ジェネレーターで最終的な画像を生成します。衣服の形状とスタイルを切り離すために、グローバルおよびローカルの地域ごとのエンコードと正規化を共同で提案し、目に見えない領域の衣服の合理的なスタイルを予測します。また、ソース画像の空間コンテキスト関係を保持するために、空間認識正規化を提案します。定性的および定量的実験の結果は、人間のポーズ転送に対するモデルの優位性を示しています。さらに、テクスチャ転送と領域編集の結果は、私たちのモデルが人物画像編集に適用できることを示しています。
Person image synthesis, e.g., pose transfer, is a challenging problem due to large variation and occlusion. Existing methods have difficulties predicting reasonable invisible regions and fail to decouple the shape and style of clothing, which limits their applications on person image editing. In this paper, we propose PISE, a novel two-stage generative model for Person Image Synthesis and Editing, which is able to generate realistic person images with desired poses, textures, or semantic layouts. For human pose transfer, we first synthesize a human parsing map aligned with the target pose to represent the shape of clothing by a parsing generator, and then generate the final image by an image generator. To decouple the shape and style of clothing, we propose joint global and local per-region encoding and normalization to predict the reasonable style of clothing for invisible regions. We also propose spatial-aware normalization to retain the spatial context relationship in the source image. The results of qualitative and quantitative experiments demonstrate the superiority of our model on human pose transfer. Besides, the results of texture transfer and region editing show that our model can be applied to person image editing.
updated: Tue Mar 16 2021 01:47:08 GMT+0000 (UTC)
published: Sat Mar 06 2021 04:32:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト