人間の顔の何百万もの画像が毎日キャプチャされます。しかし、これらの写真は、固定されたポーズ、表現、および外観を持つ個人の肖像を描写しています。ポートレート画像アニメーションは、被写体の肖像やアイデンティティの写実的な再構成を維持しながら、単一の画像からこれらの属性のキャプチャ後の調整を可能にします。それでも、ポートレート画像アニメーションの現在の方法は、通常、2Dワーピング操作または2D生成敵対的ネットワーク(GAN)の操作に基づいており、マルチビューの一貫性を強制するための明示的なメカニズムがありません。したがって、これらの方法は、特にカメラに対する視点が変更された場合に、被写体のアイデンティティを大幅に変更する可能性があります。この作業では、新しく開発された3D GANを活用します。これにより、マルチビューの一貫性で画像の被写体のポーズを明示的に制御できます。 3Dモーフィング可能なモデルを使用して式を柔軟に操作するための監視戦略を提案し、提案された方法がGANの潜在空間内で補間することにより、年齢や髪型などの外観属性の編集もサポートすることを示します。ポートレート画像アニメーションのために提案された技術は、属性編集もサポートしながら、画質、アイデンティティの保存、およびポーズ転送の点で以前の方法よりも優れています。
Millions of images of human faces are captured every single day; but these photographs portray the likeness of an individual with a fixed pose, expression, and appearance. Portrait image animation enables the post-capture adjustment of these attributes from a single image while maintaining a photorealistic reconstruction of the subject's likeness or identity. Still, current methods for portrait image animation are typically based on 2D warping operations or manipulations of a 2D generative adversarial network (GAN) and lack explicit mechanisms to enforce multi-view consistency. Thus these methods may significantly alter the identity of the subject, especially when the viewpoint relative to the camera is changed. In this work, we leverage newly developed 3D GANs, which allow explicit control over the pose of the image subject with multi-view consistency. We propose a supervision strategy to flexibly manipulate expressions with 3D morphable models, and we show that the proposed method also supports editing appearance attributes, such as age or hairstyle, by interpolating within the latent space of the GAN. The proposed technique for portrait image animation outperforms previous methods in terms of image quality, identity preservation, and pose transfer while also supporting attribute editing.