フォトリアリスティックなビデオポートレートの再現は、仮想制作と多数のVR / AR体験に役立ちます。再現された表現はソースと一致する必要があり、照明は新しい環境に合わせて調整可能である必要があるため、このタスクは依然として困難です。動的な再照明を可能にしながら、ソースパフォーマーからターゲットパフォーマーのポートレートビデオに顔の表情を転送するためのニューラルリライティングと表情転送技術を紹介します。私たちのアプローチは、4D反射率フィールド学習、モデルベースの顔のパフォーマンスキャプチャ、およびターゲットを意識したニューラルレンダリングを採用しています。具体的には、ターゲットパフォーマーのOLATの短いシーケンスを前提として、レンダリングからビデオへの変換ネットワークを適用して、最初に、見えない表現を持つ新しいシーケンスのOLAT結果を合成します。次に、反射率フィールドを確実に推測するために、コンテンツ、セグメンテーション、およびモーションフローをエンコードするために、マルチフレームマルチタスク学習戦略とともにセマンティック対応の顔の正規化スキームを設計します。これにより、顔の表情を制御すると同時に仮想リライティングを適用することができます。広範な実験により、私たちの技術が困難な表現や照明環境を堅牢に処理し、映画のような品質で結果を生み出すことができることが実証されています。
Photo-realistic video portrait reenactment benefits virtual production and numerous VR/AR experiences. The task remains challenging as the reenacted expression should match the source while the lighting should be adjustable to new environments. We present a neural relighting and expression transfer technique to transfer the facial expressions from a source performer to a portrait video of a target performer while enabling dynamic relighting. Our approach employs 4D reflectance field learning, model-based facial performance capture and target-aware neural rendering. Specifically, given a short sequence of the target performer's OLAT, we apply a rendering-to-video translation network to first synthesize the OLAT result of new sequences with unseen expressions. We then design a semantic-aware facial normalization scheme along with a multi-frame multi-task learning strategy to encode the content, segmentation, and motion flows for reliably inferring the reflectance field. This allows us to simultaneously control facial expression and apply virtual relighting. Extensive experiments demonstrate that our technique can robustly handle challenging expressions and lighting environments and produce results at a cinematographic quality.