エネルギーベースのモデル(EBM)は、その一般性と尤度モデリングの単純さのために魅力的ですが、従来はトレーニングが困難でした。連続ニューラルネットワークでMCMCベースのEBMトレーニングをスケーリングする手法を紹介し、ImageNet32x32、ImageNet128x128、CIFAR-10、およびロボットハンド軌跡の高次元データドメインでの成功を示し、他の尤度モデルよりも優れたサンプルを達成し、データのすべてのモードをカバーしながら、現代のGANアプローチのパフォーマンス。構成性や破損した画像の再構成や修復など、暗黙的な生成のいくつかのユニークな機能を強調します。最後に、EBMがさまざまなタスクにわたって有用なモデルであることを示し、最先端の配信外分類、敵対的に堅牢な分類、最先端の継続的なオンラインクラス学習、および一貫した長期的な学習を実現します。予測される軌道のロールアウトの用語。
Energy based models (EBMs) are appealing due to their generality and simplicity in likelihood modeling, but have been traditionally difficult to train. We present techniques to scale MCMC based EBM training on continuous neural networks, and we show its success on the high-dimensional data domains of ImageNet32x32, ImageNet128x128, CIFAR-10, and robotic hand trajectories, achieving better samples than other likelihood models and nearing the performance of contemporary GAN approaches, while covering all modes of the data. We highlight some unique capabilities of implicit generation such as compositionality and corrupt image reconstruction and inpainting. Finally, we show that EBMs are useful models across a wide variety of tasks, achieving state-of-the-art out-of-distribution classification, adversarially robust classification, state-of-the-art continual online class learning, and coherent long term predicted trajectory rollouts.