arXiv reaDer
合成神経放射場に基づくセマンティック 3D 認識ポートレート合成と操作
Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field
最近、神経放射場を使用した 3D 対応の GAN メソッドが急速に開発されました。ただし、現在の方法では、画像全体を全体的な神経放射フィールドとしてモデル化しているため、合成結果の部分的なセマンティック編集可能性が制限されています。 NeRF は画像をピクセルごとにレンダリングするため、空間次元で NeRF を分割することができます。セマンティック 3D 対応のポートレートの合成と操作のための合成ニューラル ラディアンス フィールド (CNeRF) を提案します。 CNeRF は画像をセマンティック領域ごとに分割し、領域ごとに独立した神経放射輝度フィールドを学習し、最終的にそれらを融合して完全な画像をレンダリングします。したがって、合成されたセマンティック領域を個別に操作しながら、他の部分を変更せずに固定できます。さらに、CNeRF は、各セマンティック領域内の形状とテクスチャを分離するようにも設計されています。最先端の 3D 認識 GAN メソッドと比較して、私たちのアプローチは、高品質の 3D 一貫性のある合成を維持しながら、きめの細かいセマンティック領域操作を可能にします。アブレーション研究は、我々の方法で使用される構造と損失関数の有効性を示しています。さらに、実際の画像の反転と漫画のポートレートの 3D 編集実験により、この方法の適用可能性が示されます。
Recently 3D-aware GAN methods with neural radiance field have developed rapidly. However, current methods model the whole image as an overall neural radiance field, which limits the partial semantic editability of synthetic results. Since NeRF renders an image pixel by pixel, it is possible to split NeRF in the spatial dimension. We propose a Compositional Neural Radiance Field (CNeRF) for semantic 3D-aware portrait synthesis and manipulation. CNeRF divides the image by semantic regions and learns an independent neural radiance field for each region, and finally fuses them and renders the complete image. Thus we can manipulate the synthesized semantic regions independently, while fixing the other parts unchanged. Furthermore, CNeRF is also designed to decouple shape and texture within each semantic region. Compared to state-of-the-art 3D-aware GAN methods, our approach enables fine-grained semantic region manipulation, while maintaining high-quality 3D-consistent synthesis. The ablation studies show the effectiveness of the structure and loss function used by our method. In addition real image inversion and cartoon portrait 3D editing experiments demonstrate the application potential of our method.
updated: Mon Apr 10 2023 12:37:59 GMT+0000 (UTC)
published: Fri Feb 03 2023 07:17:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト