arXiv reaDer
拡散モデルにおける多様体駆動サンプリングによる不偏画像合成
Unbiased Image Synthesis via Manifold-Driven Sampling in Diffusion Models
拡散モデルは、高品質の画像を生成できる強力な生成モデルの一種です。ただし、特にトレーニング データが真のデータ分布を正確に表しておらず、歪んだパターンや不均衡なパターンを示している場合には、特定のモードのデータが有利になる、データ バイアスに関する課題に直面する可能性があります。たとえば、CelebA データセットには男性の画像よりも女性の画像が多く含まれているため、生成結果が偏り、下流のアプリケーションに影響を与えます。この問題に対処するために、多様なガイダンスを活用して拡散モデルにおけるデータの偏りを軽減する新しい方法を提案します。私たちの重要なアイデアは、教師なしアプローチを使用してトレーニング データの多様体を推定し、それを拡散モデルのサンプリング プロセスのガイドに使用することです。これにより、モデル アーキテクチャを変更したり、ラベルや再トレーニングを必要としたりすることなく、生成された画像がデータ マニホールド上に均一に分散されるようになります。理論的分析と経験的証拠は、標準の拡散モデルと比較して画像生成の品質と不偏性を向上させる上での私たちの方法の有効性を実証しています。
Diffusion models are a potent class of generative models capable of producing high-quality images. However, they can face challenges related to data bias, favoring specific modes of data, especially when the training data does not accurately represent the true data distribution and exhibits skewed or imbalanced patterns. For instance, the CelebA dataset contains more female images than male images, leading to biased generation results and impacting downstream applications. To address this issue, we propose a novel method that leverages manifold guidance to mitigate data bias in diffusion models. Our key idea is to estimate the manifold of the training data using an unsupervised approach, and then use it to guide the sampling process of diffusion models. This encourages the generated images to be uniformly distributed on the data manifold without altering the model architecture or necessitating labels or retraining. Theoretical analysis and empirical evidence demonstrate the effectiveness of our method in improving the quality and unbiasedness of image generation compared to standard diffusion models.
updated: Fri Aug 18 2023 03:06:16 GMT+0000 (UTC)
published: Mon Jul 17 2023 02:03:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト