arXiv reaDer
一貫性モデル
Consistency Models
拡散モデルは、画像、音声、およびビデオの生成において大きなブレークスルーをもたらしましたが、反復的な生成プロセスに依存しているため、サンプリング速度が遅くなり、リアルタイム アプリケーションの可能性が制限されます。この制限を克服するために、敵対的トレーニングなしで高いサンプル品質を達成する生成モデルの新しいファミリーである一貫性モデルを提案します。これらは設計により高速なワンステップ生成をサポートする一方で、数ステップのサンプリングと引き換えにサンプルの品質を計算することを可能にします。また、これらのタスクに関する明示的なトレーニングを必要とせずに、画像の修復、色付け、超解像などのゼロショット データ編集もサポートします。一貫性モデルは、事前トレーニング済みの拡散モデルを抽出する方法として、またはスタンドアロンの生成モデルとしてトレーニングできます。大規模な実験を通じて、1 段階および数段階の生成における拡散モデルの既存の蒸留技術よりも優れていることを示しています。たとえば、CIFAR-10 では 3.55、ImageNet 64x64 では 6.20 という新しい最先端の FID をワンステップ生成で実現しています。スタンドアロンの生成モデルとしてトレーニングすると、一貫性モデルは、CIFAR-10、ImageNet 64x64、LSUN 256x256 などの標準ベンチマークで、シングルステップの非敵対的生成モデルよりも優れたパフォーマンスを発揮します。
Diffusion models have made significant breakthroughs in image, audio, and video generation, but they depend on an iterative generation process that causes slow sampling speed and caps their potential for real-time applications. To overcome this limitation, we propose consistency models, a new family of generative models that achieve high sample quality without adversarial training. They support fast one-step generation by design, while still allowing for few-step sampling to trade compute for sample quality. They also support zero-shot data editing, like image inpainting, colorization, and super-resolution, without requiring explicit training on these tasks. Consistency models can be trained either as a way to distill pre-trained diffusion models, or as standalone generative models. Through extensive experiments, we demonstrate that they outperform existing distillation techniques for diffusion models in one- and few-step generation. For example, we achieve the new state-of-the-art FID of 3.55 on CIFAR-10 and 6.20 on ImageNet 64x64 for one-step generation. When trained as standalone generative models, consistency models also outperform single-step, non-adversarial generative models on standard benchmarks like CIFAR-10, ImageNet 64x64 and LSUN 256x256.
updated: Thu Mar 02 2023 18:30:16 GMT+0000 (UTC)
published: Thu Mar 02 2023 18:30:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト