フェイス アニメーションは、アニメーションのポーズと表情を使って写真のようにリアルなポートレート ビデオを作成することを目的としています。一般的な方法は、ピクセルとフィーチャをソースからターゲットにワープするために使用される変位フィールドを生成することです。ただし、以前の試みでは、最適な変位が得られないことがよくあります。この作業では、ジオメトリ駆動型モデルを提示し、ガイダンスとして 2 つの幾何学的パターンを提案します: 3D 顔でレンダリングされた変位マップとポーズ付けられたニューラル コードです。モデルは、必要に応じてパターンの 1 つを変位推定のガイダンスとして使用できます。顔モデルでカバーされていない位置 (髪など) の変位をモデル化するために、ソース画像の特徴をコンテキスト情報として使用し、特徴のワーピングと変位の推定を高解像度で交互に行うプログレッシブ ワーピング モジュールを提案します。提案されたモデルが、高い忠実度でポートレート ビデオを合成し、VoxCeleb1 および VoxCeleb2 データセットでクロス アイデンティティと同一アイデンティティ再構成の両方で新しい最先端の結果を達成できることを示します。
Face animation aims at creating photo-realistic portrait videos with animated poses and expressions. A common practice is to generate displacement fields that are used to warp pixels and features from source to target. However, prior attempts often produce sub-optimal displacements. In this work, we present a geometry driven model and propose two geometric patterns as guidance: 3D face rendered displacement maps and posed neural codes. The model can optionally use one of the patterns as guidance for displacement estimation. To model displacements at locations not covered by the face model (e.g., hair), we resort to source image features for contextual information and propose a progressive warping module that alternates between feature warping and displacement estimation at increasing resolutions. We show that the proposed model can synthesize portrait videos with high fidelity and achieve the new state-of-the-art results on the VoxCeleb1 and VoxCeleb2 datasets for both cross identity and same identity reconstruction.