制御可能な画像合成モデルにより、テキストの指示または参照画像からのガイダンスに基づいて、さまざまな画像を作成できます。最近、ノイズ除去拡散確率モデルは、以前の方法よりもリアルな画像を生成することが示されており、無条件およびクラス条件付き設定でうまく実証されています。このモデル クラスのきめの細かい、継続的な制御を調査し、言語またはイメージ ガイダンス、またはその両方を可能にするセマンティック拡散ガイダンスの新しい統一フレームワークを導入します。ガイダンスは、拡散モデルを再トレーニングすることなく、画像テキストまたは画像マッチング スコアの勾配を使用して、事前トレーニング済みの無条件拡散モデルに注入されます。統一されたフレームワークで、CLIP ベースの言語ガイダンスと、コンテンツ ベースとスタイル ベースの画像ガイダンスの両方を調査します。テキストガイド合成アプローチは、テキスト注釈が関連付けられていないデータセットに適用できます。 FFHQ および LSUN データセットで実験を行い、きめ細かなテキスト ガイド付き画像合成、スタイルまたはコンテンツ参照画像に関連する画像の合成、およびテキストと画像の両方のガイダンスを使用した例の結果を示します。
Controllable image synthesis models allow creation of diverse images based on text instructions or guidance from a reference image. Recently, denoising diffusion probabilistic models have been shown to generate more realistic imagery than prior methods, and have been successfully demonstrated in unconditional and class-conditional settings. We investigate fine-grained, continuous control of this model class, and introduce a novel unified framework for semantic diffusion guidance, which allows either language or image guidance, or both. Guidance is injected into a pretrained unconditional diffusion model using the gradient of image-text or image matching scores, without re-training the diffusion model. We explore CLIP-based language guidance as well as both content and style-based image guidance in a unified framework. Our text-guided synthesis approach can be applied to datasets without associated text annotations. We conduct experiments on FFHQ and LSUN datasets, and show results on fine-grained text-guided image synthesis, synthesis of images related to a style or content reference image, and examples with both textual and image guidance.