arXiv reaDer
畳み込みによる効率的な 3D 認識生成のための NeRF-GAN 蒸留
NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions
ポーズ調整された畳み込み生成モデルは、十分な 3D 事前分布がないため、単一ビュー データセットからの高品質の 3D 一貫性のある画像生成に苦労しています。最近、Neural Radiance Fields (NeRFs) と Generative Adversarial Networks (GANs) などの生成モデルの統合により、単一ビュー画像からの 3D 認識生成が変換されました。 NeRF-GAN は、計算の複雑さを犠牲にして、3D ニューラル表現とボリューム レンダリングの強い帰納的バイアスを利用します。この研究は、事前トレーニング済みの NeRF-GAN から 3D 知識を抽出することにより、推論時に効率的な 3D 認識生成のためにポーズ調整された 2D GAN を再検討することを目的としています。基礎となる3D表現に対応する3D一貫性のある画像を直接生成するために、ポーズ条件付き畳み込みネットワークで事前トレーニング済みのNeRF-GANの十分に解きほぐされた潜在空間を再利用することに基づいた、シンプルで効果的な方法を提案します。いくつかのデータセットでの実験は、提案された方法が、畳み込みネットワークの優れた計算上の利点から恩恵を受けながら、品質と 3D 一貫性の点でボリューメトリック レンダリングに匹敵する結果を取得することを示しています。コードは https://github.com/mshahbazi72/NeRF-GAN-Distillation で入手できます。
Pose-conditioned convolutional generative models struggle with high-quality 3D-consistent image generation from single-view datasets, due to their lack of sufficient 3D priors. Recently, the integration of Neural Radiance Fields (NeRFs) and generative models, such as Generative Adversarial Networks (GANs), has transformed 3D-aware generation from single-view images. NeRF-GANs exploit the strong inductive bias of 3D neural representations and volumetric rendering at the cost of higher computational complexity. This study aims at revisiting pose-conditioned 2D GANs for efficient 3D-aware generation at inference time by distilling 3D knowledge from pretrained NeRF-GANS. We propose a simple and effective method, based on re-using the well-disentangled latent space of a pre-trained NeRF-GAN in a pose-conditioned convolutional network to directly generate 3D-consistent images corresponding to the underlying 3D representations. Experiments on several datasets demonstrate that the proposed method obtains results comparable with volumetric rendering in terms of quality and 3D consistency while benefiting from the superior computational advantage of convolutional networks. The code will be available at: https://github.com/mshahbazi72/NeRF-GAN-Distillation
updated: Wed Mar 22 2023 18:59:48 GMT+0000 (UTC)
published: Wed Mar 22 2023 18:59:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト