一連の身体ポーズによって制御される人物の単一の画像から人間のアニメーションを合成するための新しいポーズ転送方法を提示します。既存のポーズ転送方法は、新しいシーンに適用するときに重大な視覚的アーティファクトを示し、その結果、一時的な不整合が生じ、人物のアイデンティティとテクスチャを維持できなくなります。これらの制限に対処するために、シルエット、衣服のラベル、およびテクスチャを予測する合成ニューラルネットワークを設計します。各モジュラーネットワークは、合成データから学習できるサブタスク専用です。推論時に、トレーニングされたネットワークを利用して、UV座標で外観とそのラベルの統一された表現を生成します。これは、ポーズ間で一定のままです。統一された表現は、ポーズの変化に応じて外観を生成するための不完全でありながら強力なガイダンスを提供します。トレーニング済みのネットワークを使用して外観を完成させ、背景でレンダリングします。これらの戦略により、テストシーンでネットワークを微調整することなく、時間的に一貫した方法で人物のアイデンティティと外観を維持できる人間のアニメーションを合成できます。実験は、私たちの方法が、合成品質、時間的コヒーレンス、および一般化能力の点で最先端を上回っていることを示しています。
We present a new pose transfer method for synthesizing a human animation from a single image of a person controlled by a sequence of body poses. Existing pose transfer methods exhibit significant visual artifacts when applying to a novel scene, resulting in temporal inconsistency and failures in preserving the identity and textures of the person. To address these limitations, we design a compositional neural network that predicts the silhouette, garment labels, and textures. Each modular network is explicitly dedicated to a subtask that can be learned from the synthetic data. At the inference time, we utilize the trained network to produce a unified representation of appearance and its labels in UV coordinates, which remains constant across poses. The unified representation provides an incomplete yet strong guidance to generating the appearance in response to the pose change. We use the trained network to complete the appearance and render it with the background. With these strategies, we are able to synthesize human animations that can preserve the identity and appearance of the person in a temporally coherent way without any fine-tuning of the network on the testing scene. Experiments show that our method outperforms the state-of-the-arts in terms of synthesis quality, temporal coherence, and generalization ability.