この論文では、SDF-3DGAN と呼ばれる、3D オブジェクト生成および 3D-Aware 画像合成タスク用の新しい方法を開発します。これは、生成分野での 3D オブジェクト表現方法として暗黙の符号付き距離関数 (SDF) を導入します。空間内の 3D オブジェクトをより高品質に表現するために SDF を適用し、より効率的で精度の高い新しい SDF ニューラル レンダラーを設計します。 2D 画像のみをトレーニングするには、最初に SDF で表されるオブジェクトをガウス分布から生成します。次に、それらを 2D 画像にレンダリングし、それらを使用してデータセット内の 2D 画像と共に GAN トレーニング メソッドを適用します。新しいレンダリング方法では、以前の SDF ニューラル レンダラーの計算負荷を軽減するために、SDF の数学的プロパティのすべての可能性を取り除きます。具体的には、新しい SDF ニューラル レンダラーは、サンプリング ポイントの数が十分でない場合のサンプリングのあいまいさの問題を解決できます。このレンダリング パイプラインでは、サーフェスを簡単に見つけることができます。したがって、通常の損失を適用して、生成されたオブジェクトの表面の滑らかさを制御します。これにより、この方法でより高い生成品質を楽しむことができます。公開ベンチマークで実施された定量的および定性的実験は、3D オブジェクト生成タスクおよび 3D-Aware 画像合成タスクの最先端の方法に対して良好なパフォーマンスを示しています。コードは https://github.com/lutao2021/SDF-3DGAN で公開されます。
In this paper, we develop a new method, termed SDF-3DGAN, for 3D object generation and 3D-Aware image synthesis tasks, which introduce implicit Signed Distance Function (SDF) as the 3D object representation method in the generative field. We apply SDF for higher quality representation of 3D object in space and design a new SDF neural renderer, which has higher efficiency and higher accuracy. To train only on 2D images, we first generate the objects, which are represented by SDF, from Gaussian distribution. Then we render them to 2D images and use them to apply GAN training method together with 2D images in the dataset. In the new rendering method, we relieve all the potential of SDF mathematical property to alleviate computation pressure in the previous SDF neural renderer. In specific, our new SDF neural renderer can solve the problem of sampling ambiguity when the number of sampling point is not enough, i.e. use the less points to finish higher quality sampling task in the rendering pipeline. And in this rendering pipeline, we can locate the surface easily. Therefore, we apply normal loss on it to control the smoothness of generated object surface, which can make our method enjoy the much higher generation quality. Quantitative and qualitative experiments conducted on public benchmarks demonstrate favorable performance against the state-of-the-art methods in 3D object generation task and 3D-Aware image synthesis task. Our codes will be released at https://github.com/lutao2021/SDF-3DGAN.