ターゲットアイデンティティとドライバーアイデンティティの間に不一致がある場合、顔の再現は結果の品質、特に数ショット設定での品質の低下に苦しみます。モデルがターゲットの詳細情報を失い、出力に欠陥が生じるID保存問題は、最も一般的な障害モードです。この問題には、ドライバーのIDがIDの不一致のために漏れたり、見えない大きなポーズを処理したりするなど、いくつかの潜在的な原因があります。このような問題を克服するために、前述の問題に対処するコンポーネントを導入します。画像アテンションブロック、ターゲットフィーチャのアライメント、およびランドマークトランスフォーマーです。関連する機能に参加してワーピングすることにより、MarioNETteと呼ばれる提案されたアーキテクチャは、数ショットの設定で見えないアイデンティティの高品質の再現を生成します。さらに、ランドマークトランスフォーマーは、ランドマークのもつれを解くことにより式のジオメトリを分離することにより、アイデンティティ保存の問題を劇的に軽減します。提案されたフレームワークが非常に現実的な顔を生成できることを検証するために、包括的な実験が実行され、ターゲットとドライバーの間の顔の特徴の大幅なミスマッチの下でも、他のすべてのベースラインより優れています。
When there is a mismatch between the target identity and the driver identity, face reenactment suffers severe degradation in the quality of the result, especially in a few-shot setting. The identity preservation problem, where the model loses the detailed information of the target leading to a defective output, is the most common failure mode. The problem has several potential sources such as the identity of the driver leaking due to the identity mismatch, or dealing with unseen large poses. To overcome such problems, we introduce components that address the mentioned problem: image attention block, target feature alignment, and landmark transformer. Through attending and warping the relevant features, the proposed architecture, called MarioNETte, produces high-quality reenactments of unseen identities in a few-shot setting. In addition, the landmark transformer dramatically alleviates the identity preservation problem by isolating the expression geometry through landmark disentanglement. Comprehensive experiments are performed to verify that the proposed framework can generate highly realistic faces, outperforming all other baselines, even under a significant mismatch of facial characteristics between the target and the driver.