arXiv reaDer
Human Pose Transfer with Disentangled Feature Consistency
深い生成モデルは、任意の人間のポーズで画像を合成し、ある人のポーズを他の人に転送することで大きな進歩を遂げました。ただし、ほとんどの既存のアプローチは、生成ネットワークの条件付き入力として、ソース画像から抽出されたポーズ情報を明示的に活用します。一方、それらは通常、合成された画像の視覚的忠実度に焦点を合わせますが、固有の一貫性を無視します。これにより、ポーズ転送のパフォーマンスがさらに制限されます。現在の制限を緩和し、合成画像の品質を向上させるために、人間のポーズ転送を容易にするために、Disentangled Feature Consistency(DFC-Net)を備えたポーズ転送ネットワークを提案します。 DFC-Netは、ソースとターゲットの人物を含む画像のペアが与えられると、ソースとターゲットからそれぞれポーズと静的情報を抽出し、ソースからの目的のポーズでターゲットの人物の画像を合成します。さらに、DFC-Netは、敵対者のトレーニングで解きほぐされた特徴の一貫性の損失を活用して転送の一貫性を強化し、キーポイント増幅器を統合してポーズの特徴抽出を強化します。さらに、DFC-Netの一般性と堅牢性を向上させるために、トレーニング中に、より多くの追加のポーズ情報を提供するペアになっていないサポートデータセットMixamo-Supがさらに利用されました。 Mixamo-PoseとEDN-10kに関する広範な実験結果は、DFC-Netがポーズ転送で最先端のパフォーマンスを達成することを示しています。
Deep generative models have made great progress in synthesizing images with arbitrary human poses and transferring poses of one person to others. However, most existing approaches explicitly leverage the pose information extracted from the source images as a conditional input for the generative networks. Meanwhile, they usually focus on the visual fidelity of the synthesized images but neglect the inherent consistency, which further confines their performance of pose transfer. To alleviate the current limitations and improve the quality of the synthesized images, we propose a pose transfer network with Disentangled Feature Consistency (DFC-Net) to facilitate human pose transfer. Given a pair of images containing the source and target person, DFC-Net extracts pose and static information from the source and target respectively, then synthesizes an image of the target person with the desired pose from the source. Moreover, DFC-Net leverages disentangled feature consistency losses in the adversarial training to strengthen the transfer coherence and integrates the keypoint amplifier to enhance the pose feature extraction. Additionally, an unpaired support dataset Mixamo-Sup providing more extra pose information has been further utilized during the training to improve the generality and robustness of DFC-Net. Extensive experimental results on Mixamo-Pose and EDN-10k have demonstrated DFC-Net achieves state-of-the-art performance on pose transfer.
updated: Fri Aug 06 2021 02:07:17 GMT+0000 (UTC)
published: Fri Jul 23 2021 01:25:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト