生成モデルは、特定のドメインから画像を生成するようにトレーニングできますか?テキストプロンプトのみでガイドされ、画像は表示されませんか?言い換えれば、画像ジェネレータを盲目的にトレーニングすることはできますか?大規模な対照言語画像事前トレーニング(CLIP)モデルのセマンティックパワーを活用して、生成モデルを新しいドメインにシフトできるテキスト駆動型の方法を紹介します。これらのドメインから画像を1つも収集する必要はありません。自然言語のプロンプトと数分のトレーニングを通じて、私たちの方法は、多様なスタイルと形状を特徴とする多数のドメインにわたってジェネレーターを適応させることができることを示しています。特に、これらの変更の多くは、既存の方法では到達が困難または完全に不可能です。私たちは、幅広いドメインにわたって広範な実験と比較を行っています。これらは、私たちのアプローチの有効性を示し、シフトされたモデルが、生成モデルをダウンストリームタスクにアピールする潜在空間プロパティを維持していることを示しています。
Can a generative model be trained to produce images from a specific domain, guided by a text prompt only, without seeing any image? In other words: can an image generator be trained blindly? Leveraging the semantic power of large scale Contrastive-Language-Image-Pre-training (CLIP) models, we present a text-driven method that allows shifting a generative model to new domains, without having to collect even a single image from those domains. We show that through natural language prompts and a few minutes of training, our method can adapt a generator across a multitude of domains characterized by diverse styles and shapes. Notably, many of these modifications would be difficult or outright impossible to reach with existing methods. We conduct an extensive set of experiments and comparisons across a wide range of domains. These demonstrate the effectiveness of our approach and show that our shifted models maintain the latent-space properties that make generative models appealing for downstream tasks.