arXiv reaDer
形状精度の高い3D対応画像合成のためのシェーディングガイド付き生成陰的モデル
A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis
生成ラディアンスフィールドの進歩により、3D対応の画像合成の限界が押し上げられました。これらの方法は、3Dオブジェクトが複数の視点からリアルに見える必要があるという観察に動機付けられ、2D画像から有効な3D放射輝度フィールドを学習するための正則化としてマルチビュー制約を導入します。進歩にもかかわらず、形状と色のあいまいさのために正確な3D形状をキャプチャできないことが多く、ダウンストリームタスクへの適用が制限されています。この作業では、大幅に改善された形状表現を学習できる新しいシェーディングガイド付き生成陰的モデルを提案することにより、このあいまいさを解決します。私たちの重要な洞察は、正確な3D形状は、さまざまな照明条件下でもリアルなレンダリングをもたらすはずであるということです。このマルチライティングの制約は、イルミネーションを明示的にモデル化し、さまざまなライティング条件でシェーディングを実行することによって実現されます。勾配は、合成された画像を弁別器に供給することによって導き出されます。表面法線を計算するという追加の計算負荷を補うために、表面追跡を介して効率的なボリュームレンダリング戦略をさらに考案し、トレーニング時間と推論時間をそれぞれ24%と48%削減します。複数のデータセットでの実験は、提案されたアプローチが、正確な基礎となる3D形状をキャプチャしながら、フォトリアリスティックな3D対応の画像合成を実現することを示しています。既存の方法に対する3D形状再構成のアプローチのパフォーマンスの向上を示し、画像の再照明への適用性を示します。コードはhttps://github.com/XingangPan/ShadeGANでリリースされます。
The advancement of generative radiance fields has pushed the boundary of 3D-aware image synthesis. Motivated by the observation that a 3D object should look realistic from multiple viewpoints, these methods introduce a multi-view constraint as regularization to learn valid 3D radiance fields from 2D images. Despite the progress, they often fall short of capturing accurate 3D shapes due to the shape-color ambiguity, limiting their applicability in downstream tasks. In this work, we address this ambiguity by proposing a novel shading-guided generative implicit model that is able to learn a starkly improved shape representation. Our key insight is that an accurate 3D shape should also yield a realistic rendering under different lighting conditions. This multi-lighting constraint is realized by modeling illumination explicitly and performing shading with various lighting conditions. Gradients are derived by feeding the synthesized images to a discriminator. To compensate for the additional computational burden of calculating surface normals, we further devise an efficient volume rendering strategy via surface tracking, reducing the training and inference time by 24% and 48%, respectively. Our experiments on multiple datasets show that the proposed approach achieves photorealistic 3D-aware image synthesis while capturing accurate underlying 3D shapes. We demonstrate improved performance of our approach on 3D shape reconstruction against existing methods, and show its applicability on image relighting. Our code will be released at https://github.com/XingangPan/ShadeGAN.
updated: Wed Dec 08 2021 19:40:38 GMT+0000 (UTC)
published: Fri Oct 29 2021 10:53:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト