arXiv reaDer
解きほぐされた特徴の一貫性が強化された人間のポーズの転送
Human Pose Transfer with Augmented Disentangled Feature Consistency
深い生成モデルは、任意の人間のポーズで画像を合成し、ある人物のポーズを他の人物に転送することで大きな進歩を遂げました。視覚的忠実度の高い画像を生成するために多くの異なる方法が提案されていますが、主な課題は残っており、2つの基本的な問題から生じます。現在の制限を緩和し、合成画像の品質を向上させるために、人間のポーズ転送を容易にするために、拡張されたDisentangled Feature Consistency(DFC-Net)を備えたポーズ転送ネットワークを提案します。ソースとターゲットの人物を含む画像のペアが与えられると、DFC-Netはソースとターゲットからそれぞれポーズと静的情報を抽出し、ソースからの目的のポーズでターゲットの人物の画像を合成します。さらに、DFC-Netは、敵対的なトレーニングで解きほぐされた特徴の一貫性の損失を活用して転送の一貫性を強化し、キーポイント増幅器を統合してポーズの特徴抽出を強化します。解きほぐされた機能の一貫性の損失の助けを借りて、DFC-Netの一般性と堅牢性を向上させるために、拡張された一貫性制約を備えた対になっていないサポートデータを導入する新しいデータ拡張スキームをさらに提案します。 Mixamo-PoseとEDN-10kに関する広範な実験結果は、DFC-Netがポーズ転送で最先端のパフォーマンスを実現することを示しています。
Deep generative models have made great progress in synthesizing images with arbitrary human poses and transferring poses of one person to others. Though many different methods have been proposed to generate images with high visual fidelity, the main challenge remains and comes from two fundamental issues: pose ambiguity and appearance inconsistency. To alleviate the current limitations and improve the quality of the synthesized images, we propose a pose transfer network with augmented Disentangled Feature Consistency (DFC-Net) to facilitate human pose transfer. Given a pair of images containing the source and target person, DFC-Net extracts pose and static information from the source and target respectively, then synthesizes an image of the target person with the desired pose from the source. Moreover, DFC-Net leverages disentangled feature consistency losses in the adversarial training to strengthen the transfer coherence and integrates a keypoint amplifier to enhance the pose feature extraction. With the help of the disentangled feature consistency losses, we further propose a novel data augmentation scheme that introduces unpaired support data with the augmented consistency constraints to improve the generality and robustness of DFC-Net. Extensive experimental results on Mixamo-Pose and EDN-10k have demonstrated DFC-Net achieves state-of-the-art performance on pose transfer.
updated: Wed Feb 09 2022 06:56:52 GMT+0000 (UTC)
published: Fri Jul 23 2021 01:25:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト