ここ数年、ノイズ除去拡散確率モデル (DDPM) は、多くの生成タスクで最先端の結果を得ており、GAN や他のクラスの生成モデルよりも優れています。特に、テキストガイド画像合成などの条件付き生成タスクを含む、さまざまな画像生成サブタスクで印象的な結果を達成しました。 2D 生成における DDPM の成功を考えると、最近では 3D 形状生成に適用され、以前のアプローチよりも優れており、最先端の結果に達しています。ただし、3D データには、設計の選択やモデルの効率に影響を与える 3D 表現の選択など、追加の課題があります。生成品質で最先端の結果に到達する一方で、既存の 3D DDPM 作業は、主に無条件またはクラス条件付きのガイダンスをほとんどまたはまったく使用しません。このホワイト ペーパーでは、イメージ ガイダンスによって 3D 形状を生成する最初の Image-Conditioned 3D Diffusion モデルである IC3D を紹介します。また、ボクセルを 3D 表現として採用した最初の 3D DDPM モデルでもあります。 DDPM をガイドするために、CISP (Contrastive Image-Shape Pre-training) を提示して活用します。これは、テキストから画像への DDPM の作業に触発された、対照的な事前トレーニングによって画像と形状を共同で埋め込むモデルです。当社のジェネレーティブ拡散モデルは、3D 生成の品質と多様性において最先端のものよりも優れています。さらに、生成された形状は、人間による評価を並べて実行することにより、品質とクエリ画像との一貫性の観点から、SoTA シングルビュー 3D 再構成モデルよりも人間の評価者に好まれることを示しています。
In the last years, Denoising Diffusion Probabilistic Models (DDPMs) obtained state-of-the-art results in many generative tasks, outperforming GANs and other classes of generative models. In particular, they reached impressive results in various image generation sub-tasks, among which conditional generation tasks such as text-guided image synthesis. Given the success of DDPMs in 2D generation, they have more recently been applied to 3D shape generation, outperforming previous approaches and reaching state-of-the-art results. However, 3D data pose additional challenges, such as the choice of the 3D representation, which impacts design choices and model efficiency. While reaching state-of-the-art results in generation quality, existing 3D DDPM works make little or no use of guidance, mainly being unconditional or class-conditional. In this paper, we present IC3D, the first Image-Conditioned 3D Diffusion model that generates 3D shapes by image guidance. It is also the first 3D DDPM model that adopts voxels as a 3D representation. To guide our DDPM, we present and leverage CISP (Contrastive Image-Shape Pre-training), a model jointly embedding images and shapes by contrastive pre-training, inspired by text-to-image DDPM works. Our generative diffusion model outperforms the state-of-the-art in 3D generation quality and diversity. Furthermore, we show that our generated shapes are preferred by human evaluators to a SoTA single-view 3D reconstruction model in terms of quality and coherence to the query image by running a side-by-side human evaluation.