arXiv reaDer
GVP: ジェネレーティブ ボリューム プリミティブ
GVP: Generative Volumetric Primitives
3D 対応の生成モデルの進歩により、明示的なカメラ制御による画像合成の限界が押し上げられました。高解像度の画像合成を実現するために、3D コンポーネントと 2D コンポーネントの両方を備えたハイブリッド アーキテクチャなど、効率的なジェネレータを設計する試みがいくつか行われてきました。ただし、このような設計ではマルチビューの一貫性が損なわれ、高解像度の純粋な 3D ジェネレーターの設計は未解決の問題です。この作業では、512 解像度の画像をリアルタイムでサンプリングおよびレンダリングできる最初の純粋な 3D 生成モデルである Generative Volumetric Primitives (GVP) を紹介します。 GVP は、多数のボリューム プリミティブとその空間情報を共同でモデル化します。これらは両方とも、2D 畳み込みネットワークを介して効率的に生成できます。これらのプリミティブの混合により、3D ボリューム内のスパース性と対応が自然にキャプチャされます。このような自由度の高いジェネレーターのトレーニングは、知識の蒸留技術によって可能になります。いくつかのデータセットでの実験は、最先端技術を超える GVP の優れた効率と 3D 一貫性を示しています。
Advances in 3D-aware generative models have pushed the boundary of image synthesis with explicit camera control. To achieve high-resolution image synthesis, several attempts have been made to design efficient generators, such as hybrid architectures with both 3D and 2D components. However, such a design compromises multiview consistency, and the design of a pure 3D generator with high resolution is still an open problem. In this work, we present Generative Volumetric Primitives (GVP), the first pure 3D generative model that can sample and render 512-resolution images in real-time. GVP jointly models a number of volumetric primitives and their spatial information, both of which can be efficiently generated via a 2D convolutional network. The mixture of these primitives naturally captures the sparsity and correspondence in the 3D volume. The training of such a generator with a high degree of freedom is made possible through a knowledge distillation technique. Experiments on several datasets demonstrate superior efficiency and 3D consistency of GVP over the state-of-the-art.
updated: Fri Mar 31 2023 16:50:23 GMT+0000 (UTC)
published: Fri Mar 31 2023 16:50:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト