arXiv reaDer
FLNeRF: ニューラル ラディアンス フィールドでの 3D 顔ランドマーク推定
FLNeRF: 3D Facial Landmarks Estimation in Neural Radiance Fields
この論文では、2D 画像、深度マップ、点群などの中間表現を使用せずに、ニューラル放射輝度場 (NeRF) で 3D 顔ランドマークを直接予測することに関する最初の重要な研究を紹介します。当社の 3D の粗い顔ランドマーク NeRF (FLNeRF) モデルは、顔全体の NeRF から個々の顔の特徴を効率的にサンプリングして、正確なランドマークを作成します。利用可能なデータの限られた数の顔の表情を軽減するために、ローカルおよび非線形の NeRF ワープが顔の特徴に細かいスケールで適用され、誇張された顔の表情 (頬をかむ、大きく開いた口、まばたきなど) を含む大きな感情範囲をシミュレートします。 )、FLNeRF のトレーニング用。このような表現の拡張により、私たちのモデルは、データで与えられた 20 の個別の表現に限定されない 3D ランドマークを予測できます。堅牢な 3D NeRF 顔ランドマークは、多くのダウンストリーム タスクに貢献します。一例として、MoFaNeRF を変更して、NeRF の顔のランドマークを使用した高品質の顔の編集と交換を可能にし、より直接的な制御と複雑な表現の幅広い範囲を可能にします。実験は、ランドマークを使用した改良されたモデルが、同等のより良い結果を達成することを示しています。 Github リンク: https://github.com/ZHANG1023/FLNeRF。
This paper presents the first significant work on directly predicting 3D face landmarks on neural radiance fields (NeRFs), without using intermediate representations such as 2D images, depth maps, or point clouds. Our 3D coarse-to-fine Face Landmarks NeRF (FLNeRF) model efficiently samples from the NeRF on the whole face with individual facial features for accurate landmarks. To mitigate the limited number of facial expressions in the available data, local and non-linear NeRF warp is applied at facial features in fine scale to simulate large emotions range, including exaggerated facial expressions (e.g., cheek blowing, wide opening mouth, eye blinking), for training FLNeRF. With such expression augmentation, our model can predict 3D landmarks not limited to the 20 discrete expressions given in the data. Robust 3D NeRF facial landmarks contribute to many downstream tasks. As an example, we modify MoFaNeRF to enable high-quality face editing and swapping using face landmarks on NeRF, allowing more direct control and wider range of complex expressions. Experiments show that the improved model using landmarks achieves comparable to better results. Github link: https://github.com/ZHANG1023/FLNeRF.
updated: Mon Nov 21 2022 06:26:01 GMT+0000 (UTC)
published: Mon Nov 21 2022 06:26:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト