arXiv reaDer
Liquid Warping GAN: A Unified Framework for Human Motion Imitation, Appearance Transfer and Novel View Synthesis
  統合されたフレームワーク内で、人間の動きの模倣、外観の変換、新しいビューの合成に取り組みます。つまり、一度訓練されたモデルを使用して、これらすべてのタスクを処理できます。既存のタスク固有のメソッドは、主に2Dキーポイント(ポーズ)を使用して人体構造を推定します。ただし、それらは位置情報を表現するだけで、個人の個人の形状を特徴付けたり、手足の回転をモデル化することはできません。本論文では、3Dボディメッシュリカバリモジュールを使用してポーズと形状を解き、ジョイントの位置と回転をモデル化するだけでなく、パーソナライズされたボディ形状を特徴付けることを提案します。テクスチャ、スタイル、色、顔のアイデンティティなどのソース情報を保持するために、画像と特徴空間の両方でソース情報を伝播し、画像を合成するLiquid Warping Block(LWB)を備えたLiquid Warping GANを提案します。参照。具体的には、ソースフィーチャは、ソースアイデンティティを適切に特徴付けるノイズ除去畳み込みオートエンコーダーによって抽出されます。さらに、提案された方法は、複数のソースからのより柔軟なワーピングをサポートできます。さらに、人間の動きの模倣、外観の移動、および新しいビュー合成の評価のために、新しいデータセット、つまり偽装(iPER)データセットを構築します。広範な実験により、閉塞症例の堅牢性や顔の同一性、形状の一貫性、衣服の詳細の保持など、いくつかの側面での本方法の有効性が実証されています。すべてのコードとデータセットはで入手できます
We tackle the human motion imitation, appearance transfer, and novel view synthesis within a unified framework, which means that the model once being trained can be used to handle all these tasks. The existing task-specific methods mainly use 2D keypoints (pose) to estimate the human body structure. However, they only expresses the position information with no abilities to characterize the personalized shape of the individual person and model the limbs rotations. In this paper, we propose to use a 3D body mesh recovery module to disentangle the pose and shape, which can not only model the joint location and rotation but also characterize the personalized body shape. To preserve the source information, such as texture, style, color, and face identity, we propose a Liquid Warping GAN with Liquid Warping Block (LWB) that propagates the source information in both image and feature spaces, and synthesizes an image with respect to the reference. Specifically, the source features are extracted by a denoising convolutional auto-encoder for characterizing the source identity well. Furthermore, our proposed method is able to support a more flexible warping from multiple sources. In addition, we build a new dataset, namely Impersonator (iPER) dataset, for the evaluation of human motion imitation, appearance transfer, and novel view synthesis. Extensive experiments demonstrate the effectiveness of our method in several aspects, such as robustness in occlusion case and preserving face identity, shape consistency and clothes details. All codes and datasets are available on
updated: Tue Oct 01 2019 16:42:27 GMT+0000 (UTC)
published: Thu Sep 26 2019 16:23:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト