arXiv reaDer
GRAM-HD:生成ラディアンスマニホールドを使用した高解像度での3D整合性のある画像生成
GRAM-HD: 3D-Consistent Image Generation at High Resolution with Generative Radiance Manifolds
最近の研究では、構造化されていない単一の画像コレクションでトレーニングされた3D対応のGANが、新しいインスタンスのマルチビュー画像を生成できることが示されています。これを実現するための重要な基盤は、3D放射輝度フィールドジェネレータとボリュームレンダリングプロセスです。ただし、既存の方法では、ニューラルボリュームレンダリングの計算コストが高いために高解像度の画像(たとえば、最大256X256)を生成できないか、異なるビュー間で3Dの一貫性を損なう画像空間のアップサンプリングを2DCNNに依存しています。この論文は、ボリュームレンダリングのように厳密な3D一貫性を維持しながら、高解像度画像(最大1024X1024)を生成できる新しい3D対応GANを提案します。私たちの動機は、3Dの一貫性を維持するために、3D空間で直接超解像を実現することです。最近の生成的放射性多様体(GRAM)アプローチで定義された2D放射性多様体のセットに2D畳み込みを適用することにより、他の方法では法外に高価な計算コストを回避し、高解像度で効果的なGANトレーニングのために専用の損失関数を適用します。 FFHQおよびAFHQv2データセットでの実験は、私たちの方法が既存の方法を大幅に上回る高品質の3D一貫性のある結果を生成できることを示しています。
Recent works have shown that 3D-aware GANs trained on unstructured single image collections can generate multiview images of novel instances. The key underpinnings to achieve this are a 3D radiance field generator and a volume rendering process. However, existing methods either cannot generate high-resolution images (e.g., up to 256X256) due to the high computation cost of neural volume rendering, or rely on 2D CNNs for image-space upsampling which jeopardizes the 3D consistency across different views. This paper proposes a novel 3D-aware GAN that can generate high resolution images (up to 1024X1024) while keeping strict 3D consistency as in volume rendering. Our motivation is to achieve super-resolution directly in the 3D space to preserve 3D consistency. We avoid the otherwise prohibitively-expensive computation cost by applying 2D convolutions on a set of 2D radiance manifolds defined in the recent generative radiance manifold (GRAM) approach, and apply dedicated loss functions for effective GAN training at high resolution. Experiments on FFHQ and AFHQv2 datasets show that our method can produce high-quality 3D-consistent results that significantly outperform existing methods.
updated: Wed Jun 15 2022 02:35:51 GMT+0000 (UTC)
published: Wed Jun 15 2022 02:35:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト