arXiv reaDer
一貫性モデル
Consistency Models
拡散モデルは、画像、オーディオ、ビデオ生成の分野を大幅に進歩させましたが、反復サンプリング プロセスに依存しているため、生成が遅くなります。この制限を克服するために、ノイズをデータに直接マッピングすることで高品質のサンプルを生成する新しいモデル ファミリーである整合性モデルを提案します。設計により高速なワンステップ生成をサポートしながら、サンプル品質とコンピューティングを引き換えにマルチステップ サンプリングを可能にします。また、画像修復、カラー化、超解像度などのゼロショット データ編集もサポートされており、これらのタスクに関する明示的なトレーニングは必要ありません。一貫性モデルは、事前にトレーニングされた拡散モデルを抽出することによって、または完全にスタンドアロンの生成モデルとしてトレーニングできます。広範な実験を通じて、1 ステップおよび数ステップのサンプリングで拡散モデルに対する既存の蒸留技術よりも優れたパフォーマンスを示し、ワンステップで CIFAR-10 で 3.55、ImageNet 64x64 で 6.20 という新しい最先端の FID を達成したことを実証しました。世代。個別にトレーニングすると、整合性モデルは、CIFAR-10、ImageNet 64x64、LSUN 256x256 などの標準ベンチマークで、既存のワンステップの非敵対的生成モデルよりも優れたパフォーマンスを発揮できる新しい生成モデル ファミリになります。
Diffusion models have significantly advanced the fields of image, audio, and video generation, but they depend on an iterative sampling process that causes slow generation. To overcome this limitation, we propose consistency models, a new family of models that generate high quality samples by directly mapping noise to data. They support fast one-step generation by design, while still allowing multistep sampling to trade compute for sample quality. They also support zero-shot data editing, such as image inpainting, colorization, and super-resolution, without requiring explicit training on these tasks. Consistency models can be trained either by distilling pre-trained diffusion models, or as standalone generative models altogether. Through extensive experiments, we demonstrate that they outperform existing distillation techniques for diffusion models in one- and few-step sampling, achieving the new state-of-the-art FID of 3.55 on CIFAR-10 and 6.20 on ImageNet 64x64 for one-step generation. When trained in isolation, consistency models become a new family of generative models that can outperform existing one-step, non-adversarial generative models on standard benchmarks such as CIFAR-10, ImageNet 64x64 and LSUN 256x256.
updated: Wed May 31 2023 06:17:10 GMT+0000 (UTC)
published: Thu Mar 02 2023 18:30:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト