arXiv reaDer
NeRFFaceEditing: ニューラル ラディアンス フィールドでの顔のもつれを解く編集
NeRFFaceEditing: Disentangled Face Editing in Neural Radiance Fields
3D 認識顔画像を合成する最近の方法は、神経放射輝度場のおかげで急速な発展を遂げ、高品質で高速な推論速度を可能にしました。ただし、顔のジオメトリと外観を個別に編集するための既存のソリューションは、通常、再トレーニングが必要であり、最近の生成作業に最適化されていないため、生成プロセスが遅れる傾向があります。これらの問題に対処するために、NeRFFaceEditing を導入します。これにより、高品質と高速な推論速度を維持しながら、事前トレーニング済みのトライプレーン ベースのニューラル放射輝度フィールドでジオメトリと外観を編集および分離できます。もつれを解くための重要なアイデアは、トライプレーンの統計を使用して、対応する顔のボリュームの高レベルの外観を表すことです。さらに、ジオメトリ編集の仲介として、生成された 3D 連続セマンティック マスクを活用します。ジオメトリ デコーダ (外観が変化しても出力は変わらない) と外観デコーダを考案します。ジオメトリ デコーダーは、元の顔のボリュームをセマンティック マスクのボリュームに合わせます。また、外観は同じだがジオメトリが異なるレンダリング画像を明示的に正則化して、顔の各コンポーネントの色分布が個別に類似するようにすることで、もつれの解消を強化します。私たちの方法では、ユーザーはセマンティック マスクを介して、ジオメトリと外観の制御を切り離して編集できます。定性的および定量的評価の両方が、既存および代替ソリューションと比較して、当社の方法の優れた形状および外観制御能力を示しています。
Recent methods for synthesizing 3D-aware face images have achieved rapid development thanks to neural radiance fields, allowing for high quality and fast inference speed. However, existing solutions for editing facial geometry and appearance independently usually require retraining and are not optimized for the recent work of generation, thus tending to lag behind the generation process. To address these issues, we introduce NeRFFaceEditing, which enables editing and decoupling geometry and appearance in the pretrained tri-plane-based neural radiance field while retaining its high quality and fast inference speed. Our key idea for disentanglement is to use the statistics of the tri-plane to represent the high-level appearance of its corresponding facial volume. Moreover, we leverage a generated 3D-continuous semantic mask as an intermediary for geometry editing. We devise a geometry decoder (whose output is unchanged when the appearance changes) and an appearance decoder. The geometry decoder aligns the original facial volume with the semantic mask volume. We also enhance the disentanglement by explicitly regularizing rendered images with the same appearance but different geometry to be similar in terms of color distribution for each facial component separately. Our method allows users to edit via semantic masks with decoupled control of geometry and appearance. Both qualitative and quantitative evaluations show the superior geometry and appearance control abilities of our method compared to existing and alternative solutions.
updated: Tue Nov 15 2022 08:11:39 GMT+0000 (UTC)
published: Tue Nov 15 2022 08:11:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト