この論文は、画像のエネルギーベースの生成的ConvNetモデルを学習するためのマルチグリッド法を提案します。グリッドごとに、エネルギー関数がボトムアップ畳み込みニューラルネットワーク(ConvNetまたはCNN)によって定義されるエネルギーベースの確率モデルを学習します。このようなモデルを学習するには、モデルから合成された例を生成する必要があります。学習アルゴリズムの各反復内で、観測されたトレーニング画像ごとに、トレーニング画像の最小1 x 1バージョンから有限ステップMCMCサンプリングを初期化することにより、複数のグリッドで合成画像を生成します。後続の各グリッドでの合成画像は、前の粗いグリッドで生成された合成画像から初期化された有限ステップMCMCによって取得されます。合成された例を取得した後、複数のグリッドのモデルのパラメーターは、合成された例と観察された例の違いに基づいて、別々に同時に更新されます。このマルチグリッド法は、現実的なエネルギーベースの生成ConvNetモデルを学習でき、元の対照的な発散(CD)および永続的なCDよりも優れていることを示します。
This paper proposes a multi-grid method for learning energy-based generative ConvNet models of images. For each grid, we learn an energy-based probabilistic model where the energy function is defined by a bottom-up convolutional neural network (ConvNet or CNN). Learning such a model requires generating synthesized examples from the model. Within each iteration of our learning algorithm, for each observed training image, we generate synthesized images at multiple grids by initializing the finite-step MCMC sampling from a minimal 1 x 1 version of the training image. The synthesized image at each subsequent grid is obtained by a finite-step MCMC initialized from the synthesized image generated at the previous coarser grid. After obtaining the synthesized examples, the parameters of the models at multiple grids are updated separately and simultaneously based on the differences between synthesized and observed examples. We show that this multi-grid method can learn realistic energy-based generative ConvNet models, and it outperforms the original contrastive divergence (CD) and persistent CD.