従来の 3D 顔モデルは、テクスチャを使用したメッシュ表現に基づいています。最も重要なモデルの 1 つは、完全に制御可能な人間の顔のメッシュを生成する FLAME (多関節モデルと表情で学習した顔) です。残念ながら、このようなモデルは、形状や外観の詳細をキャプチャする際に問題があります。メッシュ表現とは対照的に、ニューラル ラディアンス フィールド (NeRF) は非常にシャープなレンダリングを生成します。しかし、暗黙的なメソッドはアニメートするのが難しく、目に見えない式にうまく一般化できません。顔操作を取得するために NeRF モデルを効果的に制御することは簡単ではありません。本稿では、NeRF と FLAME の両方の方法の長所を組み合わせた、NeRFlame という名前の新しいアプローチを提案します。私たちの方法は、NeRF の高品質のレンダリング機能を可能にすると同時に、FLAME と同様に視覚的な外観を完全に制御します。ニューラル ネットワークを利用して RGB カラーとボリューム密度をモデル化する従来の NeRF ベースのアーキテクチャとは異なり、NeRFlame は明示的な密度ボリュームとして FLAME メッシュを採用しています。その結果、カラー値は FLAME メッシュの近くでのみ非ゼロになります。次に、この FLAME バックボーンを NeRF アーキテクチャに統合して RGB カラーを予測し、NeRFlame がボリューム密度を明示的にモデル化し、RGB カラーを暗黙的にモデル化できるようにします。
Traditional 3D face models are based on mesh representations with texture. One of the most important models is FLAME (Faces Learned with an Articulated Model and Expressions), which produces meshes of human faces that are fully controllable. Unfortunately, such models have problems with capturing geometric and appearance details. In contrast to mesh representation, the neural radiance field (NeRF) produces extremely sharp renders. But implicit methods are hard to animate and do not generalize well to unseen expressions. It is not trivial to effectively control NeRF models to obtain face manipulation. The present paper proposes a novel approach, named NeRFlame, which combines the strengths of both NeRF and FLAME methods. Our method enables high-quality rendering capabilities of NeRF while also offering complete control over the visual appearance, similar to FLAME. Unlike conventional NeRF-based architectures that utilize neural networks to model RGB colors and volume density, NeRFlame employs FLAME mesh as an explicit density volume. As a result, color values are non-zero only in the proximity of the FLAME mesh. This FLAME backbone is then integrated into the NeRF architecture to predict RGB colors, allowing NeRFlame to explicitly model volume density and implicitly model RGB colors.