arXiv reaDer
属性条件付き 3D 認識顔生成のための生成ニューラル放射輝度フィールドのトレーニングと調整
Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation
生成神経放射場 (GNeRF) に基づく 3D 認識 GAN は、強力な 3D 一貫性を維持しながら、印象的な高品質の画像生成を実現しました。最も顕著な成果は、顔生成ドメインで行われました。ただし、これらのモデルのほとんどは、ビューの一貫性の向上に焦点を当てていますが、もつれの解消の側面を無視しているため、これらのモデルは、生成に対する高品質のセマンティック/属性制御を提供できません。この目的のために、特定の属性ラベルを入力として使用する条件付き GNeRF モデルを導入して、3D 対応の生成モデルの制御性ともつれを解く能力を向上させます。事前トレーニング済みの 3D 対応モデルをベースとして使用し、属性ラベルを使用して生成を制御するデュアルブランチ属性編集モジュール (DAEM) を統合します。さらに、潜在ベクトルを最適化して属性編集の精度をさらに向上させる TRIOT (TRaining as Init, and Optimizing for Tuning) メソッドを提案します。広く使用されている FFHQ での広範な実験により、私たちのモデルは、非ターゲット領域を維持しながら、ビューの一貫性が向上した高品質の編集が得られることが示されています。コードは https://github.com/zhangqianhui/TT-GNeRF で入手できます。
3D-aware GANs based on generative neural radiance fields (GNeRF) have achieved impressive high-quality image generation, while preserving strong 3D consistency. The most notable achievements are made in the face generation domain. However, most of these models focus on improving view consistency but neglect a disentanglement aspect, thus these models cannot provide high-quality semantic/attribute control over generation. To this end, we introduce a conditional GNeRF model that uses specific attribute labels as input in order to improve the controllabilities and disentangling abilities of 3D-aware generative models. We utilize the pre-trained 3D-aware model as the basis and integrate a dual-branches attribute-editing module (DAEM), that utilize attribute labels to provide control over generation. Moreover, we propose a TRIOT (TRaining as Init, and Optimizing for Tuning) method to optimize the latent vector to improve the precision of the attribute-editing further. Extensive experiments on the widely used FFHQ show that our model yields high-quality editing with better view consistency while preserving the non-target regions. The code is available at https://github.com/zhangqianhui/TT-GNeRF.
updated: Fri Aug 26 2022 10:05:39 GMT+0000 (UTC)
published: Fri Aug 26 2022 10:05:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト