ノイズ除去拡散モデルは、生成サンプリングの習熟度を実証しています。ただし、適切なサンプルを生成するには、多くの場合、多くの反復が必要です。その結果、固定アーキテクチャのネットワーク呼び出しの数を減らすために、バイナリ時間蒸留 (BTD) などの手法が提案されてきました。このホワイト ペーパーでは、BTD を拡張する新しい方法である TRAnsitive Closure Time-distillation (TRACT) を紹介します。シングル ステップ拡散の場合、TRACT は同じアーキテクチャで FID を最大 2.4 倍改善し、新しいシングル ステップ デノイズ拡散陰解モデル (DDIM) の最先端の FID (ImageNet64 では 7.4、CIFAR10 では 3.8) を実現します。最後に、拡張アブレーションを通じてメソッドを分解します。 PyTorch の実装はまもなくリリースされます。
Denoising Diffusion models have demonstrated their proficiency for generative sampling. However, generating good samples often requires many iterations. Consequently, techniques such as binary time-distillation (BTD) have been proposed to reduce the number of network calls for a fixed architecture. In this paper, we introduce TRAnsitive Closure Time-distillation (TRACT), a new method that extends BTD. For single step diffusion,TRACT improves FID by up to 2.4x on the same architecture, and achieves new single-step Denoising Diffusion Implicit Models (DDIM) state-of-the-art FID (7.4 for ImageNet64, 3.8 for CIFAR10). Finally we tease apart the method through extended ablations. The PyTorch implementation will be released soon.