arXiv reaDer
エネルギーベースのモデルでの暗黙的な生成と一般化
Implicit Generation and Generalization in Energy-Based Models
エネルギーベースのモデル(EBM)は、その一般性と尤度モデリングの単純さのために魅力的ですが、従来はトレーニングが困難でした。連続ニューラルネットワークでMCMCベースのEBMトレーニングをスケーリングする手法を紹介し、ImageNet32x32、ImageNet128x128、CIFAR-10、およびロボットハンド軌跡の高次元データドメインでの成功を示し、他の尤度モデルよりも優れたサンプルを達成し、データのすべてのモードをカバーしながら、現代のGANアプローチのパフォーマンス。構成性や破損した画像の再構成や修復など、暗黙的な生成のいくつかのユニークな機能を強調します。最後に、EBMがさまざまなタスクにわたって有用なモデルであることを示し、最先端の配信外分類、敵対的に堅牢な分類、最先端の継続的なオンラインクラス学習、および一貫した長期的な学習を実現します。予測される軌道のロールアウトの用語。
Energy based models (EBMs) are appealing due to their generality and simplicity in likelihood modeling, but have been traditionally difficult to train. We present techniques to scale MCMC based EBM training on continuous neural networks, and we show its success on the high-dimensional data domains of ImageNet32x32, ImageNet128x128, CIFAR-10, and robotic hand trajectories, achieving better samples than other likelihood models and nearing the performance of contemporary GAN approaches, while covering all modes of the data. We highlight some unique capabilities of implicit generation such as compositionality and corrupt image reconstruction and inpainting. Finally, we show that EBMs are useful models across a wide variety of tasks, achieving state-of-the-art out-of-distribution classification, adversarially robust classification, state-of-the-art continual online class learning, and coherent long term predicted trajectory rollouts.
updated: Tue Jun 30 2020 03:25:59 GMT+0000 (UTC)
published: Wed Mar 20 2019 18:34:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト