arXiv reaDer
FDA-GAN:人間のポーズ転送のためのフローベースのデュアルアテンションGAN
FDA-GAN: Flow-based Dual Attention GAN for Human Pose Transfer
人間のポーズ転送は、ソース人物の外観をターゲットポーズに転送することを目的としています。非剛体の人間の画像生成のためにフローベースのワーピングを利用する既存の方法は、大きな成功を収めている。ただし、ソースとターゲット間の空間相関が十分に活用されていないため、合成画像の外観の詳細を保持できません。この目的のために、フローベースのデュアルアテンションGAN(FDA-GAN)を提案し、オクルージョンと変形を意識した特徴融合を適用して、より高い世代品質を実現します。具体的には、二重注意メカニズムを構成する変形可能な局所的注意および流れ類似性注意は、それぞれ、変形可能および閉塞を意識した融合の原因となる出力特徴を導き出すことができる。さらに、転送時にポーズとグローバル位置の一貫性を維持するために、ターゲットポーズからソース人物への適応正規化を学習するためのポーズ正規化ネットワークを設計します。定性的および定量的結果の両方は、私たちの方法が公開iPERおよびDeepFashionデータセットの最先端モデルよりも優れていることを示しています。
Human pose transfer aims at transferring the appearance of the source person to the target pose. Existing methods utilizing flow-based warping for non-rigid human image generation have achieved great success. However, they fail to preserve the appearance details in synthesized images since the spatial correlation between the source and target is not fully exploited. To this end, we propose the Flow-based Dual Attention GAN (FDA-GAN) to apply occlusion- and deformation-aware feature fusion for higher generation quality. Specifically, deformable local attention and flow similarity attention, constituting the dual attention mechanism, can derive the output features responsible for deformable- and occlusion-aware fusion, respectively. Besides, to maintain the pose and global position consistency in transferring, we design a pose normalization network for learning adaptive normalization from the target pose to the source person. Both qualitative and quantitative results show that our method outperforms state-of-the-art models in public iPER and DeepFashion datasets.
updated: Wed Dec 01 2021 05:10:37 GMT+0000 (UTC)
published: Wed Dec 01 2021 05:10:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト