arXiv reaDer
顔編集用の 3D 認識 StyleNeRF エンコーダーの設計
Designing a 3D-Aware StyleNeRF Encoder for Face Editing
GAN 反転は多くの顔操作タスクで利用されてきましたが、2D GAN は多視点の 3D 一貫した画像を生成できないことがよくあります。 2D GAN 用に設計されたエンコーダーは、反転と編集に十分な 3D 情報を提供できません。したがって、GANの3D編集機能を向上させるために、3D対応GAN反転が提案されています。ただし、3D 対応の GAN 反転はまだ調査されていません。この問題に取り組むために、強力な StyleNeRF モデルに基づく GAN 反転および顔編集用の 3D 認識 (3Da) エンコーダーを提案します。私たちが提案する 3Da エンコーダーは、パラメトリック 3D 顔モデルと学習可能な詳細表現モデルを組み合わせて、ジオメトリ、テクスチャ、およびビュー方向コードを生成します。より柔軟な顔操作のために、次に、絡み合っていないジオメトリとテクスチャ フローを使用して StyleNeRF コードを転送するデュアル ブランチ StyleFlow モジュールを設計します。広範な実験により、顔の属性編集とテクスチャ転送の両方で 3D の一貫した顔操作を実現することが実証されました。さらに、ビデオ編集では、フレーム コードのシーケンスが共通の正規多様体を共有するようにします。これにより、編集された属性の時間的な一貫性が向上します。
GAN inversion has been exploited in many face manipulation tasks, but 2D GANs often fail to generate multi-view 3D consistent images. The encoders designed for 2D GANs are not able to provide sufficient 3D information for the inversion and editing. Therefore, 3D-aware GAN inversion is proposed to increase the 3D editing capability of GANs. However, the 3D-aware GAN inversion remains under-explored. To tackle this problem, we propose a 3D-aware (3Da) encoder for GAN inversion and face editing based on the powerful StyleNeRF model. Our proposed 3Da encoder combines a parametric 3D face model with a learnable detail representation model to generate geometry, texture and view direction codes. For more flexible face manipulation, we then design a dual-branch StyleFlow module to transfer the StyleNeRF codes with disentangled geometry and texture flows. Extensive experiments demonstrate that we realize 3D consistent face manipulation in both facial attribute editing and texture transfer. Furthermore, for video editing, we make the sequence of frame codes share a common canonical manifold, which improves the temporal consistency of the edited attributes.
updated: Sun Feb 19 2023 03:32:28 GMT+0000 (UTC)
published: Sun Feb 19 2023 03:32:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト