ニューラルヘッドアバターは、AR / VRや、デジタルヒューマンに依存する映画やゲーム業界の他のアプリケーションでの電話会議に使用できる、アニメート可能な人間のアバターの表面形状と外観を明示的にモデル化した新しいニューラル表現です。私たちの表現は、さまざまな表現やビューを備えた単眼RGBポートレートビデオから学ぶことができます。具体的には、顔の粗い形状と表現のモーフィング可能なモデルと2つのフィードフォワードネットワークで構成されるハイブリッド表現を提案し、基礎となるメッシュの頂点オフセットと、ビューおよび表現に依存するテクスチャを予測します。この表現が、見えないポーズや視点を正確に推定し、シャープなテクスチャの詳細を提供しながら自然な表現を生成できることを示します。頭のアバターに関する以前の作品と比較して、私たちの方法は、標準のグラフィックスパイプラインと互換性のある完全な人間の頭(髪を含む)の解きほぐされた形状と外観モデルを提供します。さらに、再構成の品質と斬新なビューの統合の点で、現在の最先端技術を定量的および定性的に上回っています。
We present Neural Head Avatars, a novel neural representation that explicitly models the surface geometry and appearance of an animatable human avatar that can be used for teleconferencing in AR/VR or other applications in the movie or games industry that rely on a digital human. Our representation can be learned from a monocular RGB portrait video that features a range of different expressions and views. Specifically, we propose a hybrid representation consisting of a morphable model for the coarse shape and expressions of the face, and two feed-forward networks, predicting vertex offsets of the underlying mesh as well as a view- and expression-dependent texture. We demonstrate that this representation is able to accurately extrapolate to unseen poses and view points, and generates natural expressions while providing sharp texture details. Compared to previous works on head avatars, our method provides a disentangled shape and appearance model of the complete human head (including hair) that is compatible with the standard graphics pipeline. Moreover, it quantitatively and qualitatively outperforms current state of the art in terms of reconstruction quality and novel-view synthesis.