拡散モデルは高品質のサンプルを生成することに優れていますが、その潜在変数は通常、意味論的な意味を持たず、表現学習には適していません。ここでは、データ内の変動の高レベルの要因を捕捉する低次元の潜在変数で拡散モデルを強化するアルゴリズムである InfoDiffusion を提案します。 InfoDiffusion は、観測変数と隠れ変数の間の相互情報で正規化された学習目標に依存しており、これにより潜在空間の品質が向上し、表現力豊かな拡散ベースのデコーダーによって潜在が無視されるのを防ぎます。経験的に、InfoDiffusion は、拡散モデルの高いサンプル品質を維持しながら、最先端の生成手法や対比手法と競合する、もつれを解いて人間が解釈できる潜在表現を学習することがわかりました。私たちの方法は、生成された画像の属性を操作することを可能にし、学習された潜在空間を探索して高品質のサンプルを生成する必要があるタスク (ジェネレーティブ デザインなど) を支援する可能性があります。
While diffusion models excel at generating high-quality samples, their latent variables typically lack semantic meaning and are not suitable for representation learning. Here, we propose InfoDiffusion, an algorithm that augments diffusion models with low-dimensional latent variables that capture high-level factors of variation in the data. InfoDiffusion relies on a learning objective regularized with the mutual information between observed and hidden variables, which improves latent space quality and prevents the latents from being ignored by expressive diffusion-based decoders. Empirically, we find that InfoDiffusion learns disentangled and human-interpretable latent representations that are competitive with state-of-the-art generative and contrastive methods, while retaining the high sample quality of diffusion models. Our method enables manipulating the attributes of generated images and has the potential to assist tasks that require exploring a learned latent space to generate quality samples, e.g., generative design.