ニューラルラディアンスフィールド(NeRF)などのボリュームニューラルレンダリング方法により、フォトリアリスティックな新しいビューの合成が可能になりました。ただし、標準形式では、NeRFはシーン内の人間の頭などのオブジェクトの編集をサポートしていません。この作品では、RigNeRFを提案します。これは、単なる斬新なビュー合成を超えて、単一のポートレートビデオから学習した頭のポーズと顔の表情を完全に制御できるシステムです。 3Dモーフィング可能な顔モデル(3DMM)によって導かれる変形フィールドを使用して、頭のポーズと顔の表情の変化をモデル化します。 3DMMは、3DMM変形の残差のみを予測することを学習し、入力シーケンスに存在しなかった新しい(剛体)ポーズと(非剛体)式をレンダリングできるようにするRigNeRFの事前機能として効果的に機能します。スマートフォンでキャプチャした被験者の短いビデオのみをトレーニングに使用して、明示的な頭のポーズと表情のコントロールを備えたポートレートシーンのフリービュー合成に対するこの方法の有効性を示します。プロジェクトページはここにあります:http://shahrukhathar.github.io/2022/06/06/RigNeRF.html
Volumetric neural rendering methods, such as neural radiance fields (NeRFs), have enabled photo-realistic novel view synthesis. However, in their standard form, NeRFs do not support the editing of objects, such as a human head, within a scene. In this work, we propose RigNeRF, a system that goes beyond just novel view synthesis and enables full control of head pose and facial expressions learned from a single portrait video. We model changes in head pose and facial expressions using a deformation field that is guided by a 3D morphable face model (3DMM). The 3DMM effectively acts as a prior for RigNeRF that learns to predict only residuals to the 3DMM deformations and allows us to render novel (rigid) poses and (non-rigid) expressions that were not present in the input sequence. Using only a smartphone-captured short video of a subject for training, we demonstrate the effectiveness of our method on free view synthesis of a portrait scene with explicit head pose and expression controls. The project page can be found here: http://shahrukhathar.github.io/2022/06/06/RigNeRF.html