arXiv reaDer
自己注意ガイダンスを使用した拡散モデルのサンプル品質の向上
Improving Sample Quality of Diffusion Models Using Self-Attention Guidance
ノイズ除去拡散モデル (DDM) は、その優れたサンプル品質と多様性により注目を集めています。この成功は、主にクラスまたはテキスト条件付き拡散ガイダンス メソッドの使用に起因します。この論文では、従来のガイダンス方法を超えて拡張する、より包括的なアプローチを提案します。この一般化された視点を採用することにより、生成された画像の品質を向上させる 2 つの新しい無条件戦略を導入します: ぼかしガイダンスと高度な自己注意ガイダンス (SAG)。ぼかしガイダンスは、ガウスぼかしの無害な特性を利用して、細かいスケールの情報に対する中間サンプルの適合性を高め、中程度のガイダンス スケールで高品質のサンプルを生成します。これを改善するために、SAG は中間自己注意マップを利用して安定性と有効性を高めます。具体的には、SAG は反復ごとに拡散モデルの中間アテンション マップを活用して、生成プロセスに不可欠な情報を取得し、それに応じてガイドします。実験結果は、ゼロショット法が ADM、IDDPM、安定拡散などのさまざまな拡散モデルのパフォーマンスを向上させることを示しています。さらに、SAG を分類子を使用しないガイダンスなどの従来のガイダンス方法と組み合わせることで、さらなる改善が得られます。
Denoising diffusion models (DDMs) have attracted attention due to their exceptional sample quality and diversity. This success is largely attributed to the use of class- or text-conditional diffusion guidance methods. In this paper, we propose a more comprehensive approach that expands beyond traditional guidance methods. By adopting this generalized perspective, we introduce two novel condition-free strategies to enhance the quality of generated images: blur guidance and advanced Self-Attention Guidance (SAG). Employing benign properties of Gaussian blur, blur guidance enhances the suitability of intermediate samples for fine-scale information and generates higher quality samples with a moderate guidance scale. Improving upon this, SAG utilizes intermediate self-attention maps to enhance the stability and efficacy. Specifically, SAG leverages intermediate attention maps of diffusion models at each iteration to capture essential information for the generative process and guide it accordingly. Our experimental results demonstrate that our zero-shot method enhances the performance of various diffusion models, including ADM, IDDPM, and Stable Diffusion. Furthermore, combining SAG with conventional guidance methods, such as classifier-free guidance, results in further improvement.
updated: Tue Feb 28 2023 07:22:39 GMT+0000 (UTC)
published: Mon Oct 03 2022 13:50:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト