arXiv reaDer
Head2Head ++:ディープフェイシャルアトリビュートのリターゲティング
Head2Head++: Deep Facial Attributes Re-Targeting
顔のビデオのリターゲティングは、単眼のシーケンスを駆動することにより、シームレスにターゲットの対象の顔の属性を変更することを目的とする挑戦的な問題です。顔の3Dジオメトリとジェネレーティブアドバーサリネットワーク(GAN)を利用して、顔と頭の再現タスク用の新しいディープラーニングアーキテクチャを設計します。私たちの方法は、純粋な3Dモデルベースのアプローチや、ディープたたみ込みニューラルネットワーク(DCNN)を使用して個々のフレームを生成する最近の画像ベースの方法とは異なります。シーケンシャルジェネレーターとアドホックダイナミクスディスクリミネーターネットワークの助けを借りて、ドライビング単眼パフォーマンスから複雑な非剛体の顔の動きをキャプチャし、時間的に一貫したビデオを合成します。定量的および定性的テストの包括的なセットを実施し、提案した方法が他の状態よりも優れた写実的で忠実な方法で、表情、頭のポーズ、視線をソースビデオからターゲットの対象にうまく転送できることを実験的に実証します-最先端の方法。最も重要なのは、システムがほぼリアルタイムの速度(18 fps)でエンドツーエンドの再現を実行することです。
Facial video re-targeting is a challenging problem aiming to modify the facial attributes of a target subject in a seamless manner by a driving monocular sequence. We leverage the 3D geometry of faces and Generative Adversarial Networks (GANs) to design a novel deep learning architecture for the task of facial and head reenactment. Our method is different to purely 3D model-based approaches, or recent image-based methods that use Deep Convolutional Neural Networks (DCNNs) to generate individual frames. We manage to capture the complex non-rigid facial motion from the driving monocular performances and synthesise temporally consistent videos, with the aid of a sequential Generator and an ad-hoc Dynamics Discriminator network. We conduct a comprehensive set of quantitative and qualitative tests and demonstrate experimentally that our proposed method can successfully transfer facial expressions, head pose and eye gaze from a source video to a target subject, in a photo-realistic and faithful fashion, better than other state-of-the-art methods. Most importantly, our system performs end-to-end reenactment in nearly real-time speed (18 fps).
updated: Tue Sep 28 2021 15:01:59 GMT+0000 (UTC)
published: Wed Jun 17 2020 23:38:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト