arXiv reaDer
自己注意ガイダンスを使用した拡散モデルのサンプル品質の向上
Improving Sample Quality of Diffusion Models Using Self-Attention Guidance
ノイズ除去拡散モデル (DDM) は、その優れた生成品質と多様性で注目を集めています。この成功は、分類子や分類子を使用しないガイダンスなど、クラスまたはテキストの条件付き拡散ガイダンス方法の使用に大きく起因しています。この論文では、従来の指導方法を超えた、より包括的な視点を提示します。この一般化された観点から、生成された画像の品質を向上させるための新しい条件とトレーニングのない戦略を紹介します。簡単な解決策として、ぼかしガイダンスは、中間サンプルの微細な情報と構造に対する適合性を向上させ、拡散モデルが中程度のガイダンス スケールでより高品質のサンプルを生成できるようにします。これを改善するために、Self-Attention Guidance (SAG) は、拡散モデルの中間的自己注意マップを使用して、その安定性と有効性を高めます。具体的には、SAG は、各反復で拡散モデルが対応する領域のみを敵対的にぼかし、それに応じてそれらを導きます。実験結果は、SAG が ADM、IDDPM、安定拡散、DiT などのさまざまな拡散モデルのパフォーマンスを向上させることを示しています。さらに、SAG を従来の誘導方法と組み合わせることで、さらなる改善につながります。
Denoising diffusion models (DDMs) have attracted attention for their exceptional generation quality and diversity. This success is largely attributed to the use of class- or text-conditional diffusion guidance methods, such as classifier and classifier-free guidance. In this paper, we present a more comprehensive perspective that goes beyond the traditional guidance methods. From this generalized perspective, we introduce novel condition- and training-free strategies to enhance the quality of generated images. As a simple solution, blur guidance improves the suitability of intermediate samples for their fine-scale information and structures, enabling diffusion models to generate higher quality samples with a moderate guidance scale. Improving upon this, Self-Attention Guidance (SAG) uses the intermediate self-attention maps of diffusion models to enhance their stability and efficacy. Specifically, SAG adversarially blurs only the regions that diffusion models attend to at each iteration and guides them accordingly. Our experimental results show that our SAG improves the performance of various diffusion models, including ADM, IDDPM, Stable Diffusion, and DiT. Moreover, combining SAG with conventional guidance methods leads to further improvement.
updated: Fri Mar 31 2023 16:37:12 GMT+0000 (UTC)
published: Mon Oct 03 2022 13:50:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト