エネルギーベースのモデル (EBM) は、一般性、単純さ、構成性など、予測タスクにおいてさまざまな望ましい特性を示します。ただし、高次元のデータセットでの EBM のトレーニングは依然として不安定で費用がかかります。このホワイト ペーパーでは、無条件 EBM とジョイント エネルギー ベース モデル (JEM) の全体的なパフォーマンスを向上させる多様体 EBM (M-EBM) を紹介します。そのシンプルさにもかかわらず、M-EBM は、CIFAR10、CIFAR100、CelebA-HQ、ImageNet 32x32 などの多数のベンチマーク データセットでのトレーニングの安定性と速度において無条件 EBM を大幅に改善します。クラスラベルが利用可能になると、ラベルを組み込んだ M-EBM (M-JEM) は、画像生成品質で M-EBM をさらに上回り、FID が 40% 以上向上し、精度も向上します。コードは https://github.com/sndnyang/mebm にあります。
Energy-based models (EBMs) exhibit a variety of desirable properties in predictive tasks, such as generality, simplicity and compositionality. However, training EBMs on high-dimensional datasets remains unstable and expensive. In this paper, we present a Manifold EBM (M-EBM) to boost the overall performance of unconditional EBM and Joint Energy-based Model (JEM). Despite its simplicity, M-EBM significantly improves unconditional EBMs in training stability and speed on a host of benchmark datasets, such as CIFAR10, CIFAR100, CelebA-HQ, and ImageNet 32x32. Once class labels are available, label-incorporated M-EBM (M-JEM) further surpasses M-EBM in image generation quality with an over 40% FID improvement, while enjoying improved accuracy. The code can be found at https://github.com/sndnyang/mebm.