生成部分としてのベクトル量子化変分オートエンコーダー(VQ-VAE)と自己回帰モデルの統合により、画像生成で高品質の結果が得られました。ただし、自己回帰モデルは、サンプリングフェーズ中のプログレッシブスキャンの順序に厳密に従います。これにより、既存のVQシリーズモデルは、グローバルな情報が不足しているという罠から逃れることはほとんどできません。連続領域でのノイズ除去拡散確率モデル(DDPM)は、高品質の画像を生成しながら、グローバルコンテキストをキャプチャする機能を示しています。離散状態空間では、いくつかの作品がテキスト生成と低解像度画像生成を実行する可能性を示しています。 VQ-VAEのコンテンツが豊富な離散ビジュアルコードブックの助けを借りて、離散拡散モデルは、ピクセル空間に沿った古典的な自己回帰モデルの欠陥を補う、グローバルコンテキストで高忠実度の画像を生成できることを示します。一方、離散VAEと拡散モデルの統合により、従来の自己回帰モデルが特大であるという欠点と、画像を生成するときにサンプリングプロセスに過度の時間を必要とする拡散モデルが解決されます。生成された画像の品質は、個別のビジュアルコードブックに大きく依存していることがわかります。広範な実験により、提案されたベクトル量子化離散拡散モデル(VQ-DDM)は、複雑度の低い一流の方法と同等のパフォーマンスを達成できることが実証されています。また、追加のトレーニングなしで画像修復タスクの観点から、自己回帰モデルで量子化された他のベクトルに比べて優れた利点を示しています。
The integration of Vector Quantised Variational AutoEncoder (VQ-VAE) with autoregressive models as generation part has yielded high-quality results on image generation. However, the autoregressive models will strictly follow the progressive scanning order during the sampling phase. This leads the existing VQ series models to hardly escape the trap of lacking global information. Denoising Diffusion Probabilistic Models (DDPM) in the continuous domain have shown a capability to capture the global context, while generating high-quality images. In the discrete state space, some works have demonstrated the potential to perform text generation and low resolution image generation. We show that with the help of a content-rich discrete visual codebook from VQ-VAE, the discrete diffusion model can also generate high fidelity images with global context, which compensates for the deficiency of the classical autoregressive model along pixel space. Meanwhile, the integration of the discrete VAE with the diffusion model resolves the drawback of conventional autoregressive models being oversized, and the diffusion model which demands excessive time in the sampling process when generating images. It is found that the quality of the generated images is heavily dependent on the discrete visual codebook. Extensive experiments demonstrate that the proposed Vector Quantised Discrete Diffusion Model (VQ-DDM) is able to achieve comparable performance to top-tier methods with low complexity. It also demonstrates outstanding advantages over other vectors quantised with autoregressive models in terms of image inpainting tasks without additional training.