従来のモーフィング可能な顔モデルは、表現をきめ細かく制御できますが、幾何学的な詳細や外観の詳細を簡単にキャプチャすることはできません。ニューラルボリューム表現はフォトリアリズムに近づきますが、アニメーション化するのは難しく、目に見えない表現にうまく一般化することはできません。この問題に取り組むために、単眼ビデオから暗黙の頭のアバターを学習するための新しい方法であるIMavatar(Implicit Morphable avatar)を提案します。従来の3DMMによって提供されるきめ細かい制御メカニズムに触発されて、学習したブレンドシェイプとスキニングフィールドを介して表現とポーズに関連する変形を表現します。これらの属性はポーズに依存せず、新しい式とポーズのパラメータを指定して、正規のジオメトリとテクスチャフィールドをモーフィングするために使用できます。レイトレーシングと反復求根アルゴリズムを使用して、各ピクセルの正規の表面交差を特定します。重要な貢献は、ビデオからのIMavatarのエンドツーエンドのトレーニングを可能にする新しい分析勾配の定式化です。最先端の方法と比較して、私たちの方法が幾何学を改善し、より完全な表現空間をカバーすることを定量的および定性的に示します。
Traditional morphable face models provide fine-grained control over expression but cannot easily capture geometric and appearance details. Neural volumetric representations approach photo-realism but are hard to animate and do not generalize well to unseen expressions. To tackle this problem, we propose IMavatar (Implicit Morphable avatar), a novel method for learning implicit head avatars from monocular videos. Inspired by the fine-grained control mechanisms afforded by conventional 3DMMs, we represent the expression- and pose-related deformations via learned blendshapes and skinning fields. These attributes are pose-independent and can be used to morph the canonical geometry and texture fields given novel expression and pose parameters. We employ ray tracing and iterative root-finding to locate the canonical surface intersection for each pixel. A key contribution is our novel analytical gradient formulation that enables end-to-end training of IMavatars from videos. We show quantitatively and qualitatively that our method improves geometry and covers a more complete expression space compared to state-of-the-art methods.