arXiv reaDer
LC-NeRF: Neural Randiance Field における局所的に制御可能な顔の生成
LC-NeRF: Local Controllable Face Generation in Neural Randiance Field
3D 顔生成は、神経放射輝度場 (NeRF) の開発により、高い視覚的品質と 3D 一貫性を実現しました。最近、NeRF 表現を使用して 3D 顔を生成および編集するために、いくつかの方法が提案され、ジオメトリとテクスチャのデカップリングで良好な結果が得られています。これらの生成モデルの潜在コードは顔全体に影響を与えるため、これらのコードを変更すると顔全体が変化します。ただし、ユーザーは通常、顔を編集するときにローカル領域を編集し、他の領域に影響を与えたくありません。潜在コードへの変更はグローバルな生成結果に影響するため、これらの方法ではローカルの顔領域をきめ細かく制御することはできません。 NeRF ベースの顔編集におけるローカル制御性を向上させるために、ローカル領域ジェネレーター モジュールと空間認識融合モジュールで構成される LC-NeRF を提案し、ローカル顔領域のローカル ジオメトリとテクスチャ制御を可能にします。質的および量的評価は、私たちの方法が最先端の顔編集方法よりも優れた局所編集を提供することを示しています。私たちの方法は、テキスト駆動型の顔画像編集などの下流のタスクでもうまく機能します。
3D face generation has achieved high visual quality and 3D consistency thanks to the development of neural radiance fields (NeRF). Recently, to generate and edit 3D faces with NeRF representation, some methods are proposed and achieve good results in decoupling geometry and texture. The latent codes of these generative models affect the whole face, and hence modifications to these codes cause the entire face to change. However, users usually edit a local region when editing faces and do not want other regions to be affected. Since changes to the latent code affect global generation results, these methods do not allow for fine-grained control of local facial regions. To improve local controllability in NeRF-based face editing, we propose LC-NeRF, which is composed of a Local Region Generators Module and a Spatial-Aware Fusion Module, allowing for local geometry and texture control of local facial regions. Qualitative and quantitative evaluations show that our method provides better local editing than state-of-the-art face editing methods. Our method also performs well in downstream tasks, such as text-driven facial image editing.
updated: Sun Feb 19 2023 05:50:08 GMT+0000 (UTC)
published: Sun Feb 19 2023 05:50:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト