希望する外観とポーズを与えられた人々の画像を生成するアプローチを提案します。結果として生成される画像の複合変動を処理するには、ポーズと外観のもつれを解いた表現が必要です。したがって、ポーズと外観の中間表現に基づくアプローチを開発します。ポーズガイド付き外観レンダリングネットワークは、最初にエンコーダーデコーダーニューラルネットワークを使用してターゲットのポーズをエンコードします。次に、完全畳み込みネットワークを使用してアダプティブアピアランスフィルターを学習することにより、ターゲットのアピアランスがエンコードされます。最後に、これらのフィルターは、レンダリングを完了するためにエンコーダー-デコーダーニューラルネットワークに配置されます。私たちのモデルは、最先端の方法よりも優れた画像とビデオを生成でき、画像とビデオの両方の生成でポーズガイド付きの外観レンダリングを処理できることを示しています。
We propose an approach to generate images of people given a desired appearance and pose. Disentangled representations of pose and appearance are necessary to handle the compound variability in the resulting generated images. Hence, we develop an approach based on intermediate representations of poses and appearance: our pose-guided appearance rendering network firstly encodes the targets' poses using an encoder-decoder neural network. Then the targets' appearances are encoded by learning adaptive appearance filters using a fully convolutional network. Finally, these filters are placed in the encoder-decoder neural networks to complete the rendering. We demonstrate that our model can generate images and videos that are superior to state-of-the-art methods, and can handle pose guided appearance rendering in both image and video generation.