ダブルスは映画業界で欠かせない役割を果たしています。危険なスタント シーンや、同じ俳優が複数のキャラクターを演じるシーンで、俳優の代わりを務めます。二重の顔は後で、高価な CGI 技術を使用して手作業で俳優の顔と表情に置き換えられ、数百万ドルの費用がかかり、完成までに数か月かかります。自動化された安価で高速な方法は、ソースの顔ビデオ (または画像) からターゲットの顔ビデオに身元を交換することを目的とした顔交換技術を使用することです。ただし、このような方法では、シーンのコンテキストにとって重要なアクターのソース エクスプレッションを保持できません。シーンに欠かせない%。映画館で不可欠な %。この課題に取り組むために、(1) ソース (俳優) の顔ビデオのアイデンティティと表情、および (2) 背景を保持できる顔交換の新しいタスクである、ビデオからビデオ (V2V) への顔交換を紹介します。ターゲット(ダブル)ビデオのポーズ。上記の制約に従って 2 つの顔ビデオをマージするための堅牢なブレンディング操作を学習することによって動作する V2V 顔交換システムである FaceOff を提案します。最初にビデオを量子化された潜在空間に縮小し、次にそれらを縮小された空間にブレンドします。 FaceOff は自己監視型の方法でトレーニングされ、V2V の顔交換の重要な課題にしっかりと取り組みます。実験セクションで示したように、FaceOff は定性的および定量的に代替アプローチよりも大幅に優れています。
Doubles play an indispensable role in the movie industry. They take the place of the actors in dangerous stunt scenes or in scenes where the same actor plays multiple characters. The double's face is later replaced with the actor's face and expressions manually using expensive CGI technology, costing millions of dollars and taking months to complete. An automated, inexpensive, and fast way can be to use face-swapping techniques that aim to swap an identity from a source face video (or an image) to a target face video. However, such methods can not preserve the source expressions of the actor important for the scene's context. % essential for the scene. % that are essential in cinemas. To tackle this challenge, we introduce video-to-video (V2V) face-swapping, a novel task of face-swapping that can preserve (1) the identity and expressions of the source (actor) face video and (2) the background and pose of the target (double) video. We propose FaceOff, a V2V face-swapping system that operates by learning a robust blending operation to merge two face videos following the constraints above. It first reduces the videos to a quantized latent space and then blends them in the reduced space. FaceOff is trained in a self-supervised manner and robustly tackles the non-trivial challenges of V2V face-swapping. As shown in the experimental section, FaceOff significantly outperforms alternate approaches qualitatively and quantitatively.