ソースダンサーとターゲット人物との間のモーション転送のタスクは、ポーズ転送問題の特殊なケースであり、ターゲット人物はダンサーのモーションに応じてポーズを変更します。この作品では、トレーニング中には見えない任意のビデオシーケンスによって単一の画像を蘇生させることができる新しい方法を提案します。この方法は、(i)セグメンテーションマッピングネットワーク、(ii)現実的なフレームレンダリングネットワーク、および(iii)顔の改良ネットワークの3つのネットワークを組み合わせたものです。このタスクを3つの段階に分割することで、自然な動きと外観をキャプチャする、リアルなフレームの新しいシーケンスを実現できます。私たちの方法は、以前の方法よりも大幅に優れた視覚品質を取得し、実験や補足ビデオに示されているように、挑戦的なポーズでキャプチャされたさまざまな体型や外観をアニメーション化できます。
The task of motion transfer between a source dancer and a target person is a special case of the pose transfer problem, in which the target person changes their pose in accordance with the motions of the dancer. In this work, we propose a novel method that can reanimate a single image by arbitrary video sequences, unseen during training. The method combines three networks: (i) a segmentation-mapping network, (ii) a realistic frame-rendering network, and (iii) a face refinement network. By separating this task into three stages, we are able to attain a novel sequence of realistic frames, capturing natural motion and appearance. Our method obtains significantly better visual quality than previous methods and is able to animate diverse body types and appearances, which are captured in challenging poses, as shown in the experiments and supplementary video.