arXiv reaDer
適応型階層変形による人間の姿勢伝達
Human Pose Transfer by Adaptive Hierarchical Deformation
位置がずれた画像生成タスクとしての人間のポーズ転送は、非常に困難です。既存の方法では、入力情報を有効に活用できず、髪の毛や衣服のスタイルや形状を維持できないことがよくあります。本論文では、2つの階層的変形レベルを持つ適応人間ポーズ転送ネットワークを提案します。第1レベルは、ターゲットポーズに合わせた人間のセマンティック解析を生成し、第2レベルは、セマンティックガイダンスを使用してターゲットポーズの最終的なテクスチャ人物画像を生成します。すべてのピクセルを有効な情報として扱うバニラ畳み込みの欠点を回避するために、2つのレベルの両方でゲート畳み込みを使用して、重要な特徴を動的に選択し、画像をレイヤーごとに適応的に変形します。私たちのモデルにはパラメーターがほとんどなく、収束が速いです。実験結果は、私たちのモデルが、最先端の方法よりも少ないパラメーターで、より一貫性のある髪、顔、衣服でより良いパフォーマンスを達成することを示しています。さらに、私たちの方法は、衣服のテクスチャ転送にも適用できます。
Human pose transfer, as a misaligned image generation task, is very challenging. Existing methods cannot effectively utilize the input information, which often fail to preserve the style and shape of hair and clothes. In this paper, we propose an adaptive human pose transfer network with two hierarchical deformation levels. The first level generates human semantic parsing aligned with the target pose, and the second level generates the final textured person image in the target pose with the semantic guidance. To avoid the drawback of vanilla convolution that treats all the pixels as valid information, we use gated convolution in both two levels to dynamically select the important features and adaptively deform the image layer by layer. Our model has very few parameters and is fast to converge. Experimental results demonstrate that our model achieves better performance with more consistent hair, face and clothes with fewer parameters than state-of-the-art methods. Furthermore, our method can be applied to clothing texture transfer.
updated: Sun Dec 13 2020 01:49:26 GMT+0000 (UTC)
published: Sun Dec 13 2020 01:49:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト