NeRF は顔の再現に広く使用されているため、最近の方法では、単眼ビデオから写真のようにリアルな 3D ヘッド アバターを復元できます。残念ながら、NeRF ベースの方法で使用される MLP は非効率的であり、収束するためにあまりにも多くの反復を必要とするため、NeRF ベースの方法のトレーニング プロセスは非常に時間がかかります。この問題を克服するために、モーション認識ニューラル ボクセルを使用した高速 3D ヘッド アバター再構築方法である ManVatar を提案します。 ManVatar は、頭のアバターの正規の外観から表情の動きを切り離し、ニューラル ボクセルによって表情の動きをモデル化した最初の製品です。特に、モーション認識ニューラル ボクセルは、複数の 4D テンソルの加重連結から生成されます。 4D テンソルは意味的に 3DMM 表現ベースと 1 対 1 で対応し、3DMM 表現係数と同じ重みを共有します。私たちの新しい表現の恩恵を受けて、提案された ManVatar は写真のようにリアルな頭部アバターをわずか 5 分 (純粋な PyTorch で実装) で復元できます。これは、最先端の顔の再現方法よりも大幅に高速です。
With NeRF widely used for facial reenactment, recent methods can recover photo-realistic 3D head avatar from just a monocular video. Unfortunately, the training process of the NeRF-based methods is quite time-consuming, as MLP used in the NeRF-based methods is inefficient and requires too many iterations to converge. To overcome this problem, we propose ManVatar, a fast 3D head avatar reconstruction method using Motion-Aware Neural Voxels. ManVatar is the first to decouple expression motion from canonical appearance for head avatar, and model the expression motion by neural voxels. In particular, the motion-aware neural voxels is generated from the weighted concatenation of multiple 4D tensors. The 4D tensors semantically correspond one-to-one with 3DMM expression bases and share the same weights as 3DMM expression coefficients. Benefiting from our novel representation, the proposed ManVatar can recover photo-realistic head avatars in just 5 minutes (implemented with pure PyTorch), which is significantly faster than the state-of-the-art facial reenactment methods.