arXiv reaDer
FLAME-in-NeRF:フリービューの顔アニメーションのための放射輝度フィールドのニューラル制御
FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face Animation
この論文は、制御可能なポートレートビデオ合成のためのニューラルレンダリング方法を提示します。ニューラルラディアンスフィールド(NeRF)などのボリュームニューラルレンダリングの最近の進歩により、静的シーンのフォトリアリスティックな斬新なビュー合成が可能になり、印象的な結果が得られました。ただし、そのようなシーン表現を使用してシーンの一部として動的で制御可能なオブジェクトをモデル化することは、依然として困難です。本研究では、人物やシーンの背景を含むポートレートビデオの斬新なビュー合成と、低次元の表情表現による表情の明示的な制御の両方を可能にするシステムを設計します。 3Dモーフィング可能な顔モデル(3DMM)の表現空間を活用して、人間の顔の表情の分布を表現し、それを使用してNeRFボリューム関数を調整します。さらに、3DMMフィッティングによってもたらされる空間事前分布を課して、ネットワークがシーンの外観と顔のアクションのもつれを解いた制御を学習するようにガイドします。エクスプレッションコントロールを使用したポートレートビデオのフリービュー合成に対するこの方法の有効性を示します。シーンをトレーニングするために、私たちの方法は、モバイルデバイスによってキャプチャされた被写体の短いビデオのみを必要とします。
This paper presents a neural rendering method for controllable portrait video synthesis. Recent advances in volumetric neural rendering, such as neural radiance fields (NeRF), has enabled the photorealistic novel view synthesis of static scenes with impressive results. However, modeling dynamic and controllable objects as part of a scene with such scene representations is still challenging. In this work, we design a system that enables both novel view synthesis for portrait video, including the human subject and the scene background, and explicit control of the facial expressions through a low-dimensional expression representation. We leverage the expression space of a 3D morphable face model (3DMM) to represent the distribution of human facial expressions, and use it to condition the NeRF volumetric function. Furthermore, we impose a spatial prior brought by 3DMM fitting to guide the network to learn disentangled control for scene appearance and facial actions. We demonstrate the effectiveness of our method on free view synthesis of portrait videos with expression controls. To train a scene, our method only requires a short video of a subject captured by a mobile device.
updated: Tue Aug 10 2021 20:41:15 GMT+0000 (UTC)
published: Tue Aug 10 2021 20:41:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト