arXiv reaDer
Generative Priors を使用した単眼ビデオからの高忠実度の顔アバターの再構成
High-fidelity Facial Avatar Reconstruction from Monocular Video with Generative Priors
単眼ビデオからの忠実度の高い顔アバターの再構成は、コンピューター グラフィックスとコンピューター ビジョンにおける重要な研究課題です。最近、Neural Radiance Field (NeRF) は印象的な新しいビュー レンダリング結果を示しており、顔アバターの再構成が検討されています。ただし、複雑な顔のダイナミクスと単眼ビデオの 3D 情報の欠落は、忠実な顔の再構成に大きな課題をもたらします。この作業では、3D 認識生成事前確率を利用する NeRF ベースの顔アバター再構成の新しい方法を提案します。動的モデリングの条件付き変形場に依存する既存の研究とは異なり、3D-GAN の潜在空間で局所的かつ低次元の部分空間として定式化される、パーソナライズされた生成事前分布を学習することを提案します。特定の個人の顔画像の小さなセットに基づいて、パーソナライズされた生成事前分布を構築する効率的な方法を提案します。学習後、新しいビューでフォトリアリスティックなレンダリングが可能になり、潜在空間でナビゲーションを実行することで顔の再現を実現できます。提案された方法は、RGB 画像、3DMM 係数、およびオーディオを含むさまざまな駆動信号に適用できます。既存作品に比べて優れた斬新な見解の合成結果が得られ、忠実に再現公演に臨むことができます。
High-fidelity facial avatar reconstruction from a monocular video is a significant research problem in computer graphics and computer vision. Recently, Neural Radiance Field (NeRF) has shown impressive novel view rendering results and has been considered for facial avatar reconstruction. However, the complex facial dynamics and missing 3D information in monocular videos raise significant challenges for faithful facial reconstruction. In this work, we propose a new method for NeRF-based facial avatar reconstruction that utilizes 3D-aware generative prior. Different from existing works that depend on a conditional deformation field for dynamic modeling, we propose to learn a personalized generative prior, which is formulated as a local and low dimensional subspace in the latent space of 3D-GAN. We propose an efficient method to construct the personalized generative prior based on a small set of facial images of a given individual. After learning, it allows for photo-realistic rendering with novel views and the face reenactment can be realized by performing navigation in the latent space. Our proposed method is applicable for different driven signals, including RGB images, 3DMM coefficients, and audios. Compared with existing works, we obtain superior novel view synthesis results and faithfully face reenactment performance.
updated: Sat Mar 04 2023 13:47:56 GMT+0000 (UTC)
published: Mon Nov 28 2022 04:49:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト