arXiv reaDer
Prescribed Generative Adversarial Networks
敵対的生成ネットワーク(GAN)は教師なし学習のための強力なアプローチである。GANは画像領域で最先端の性能を達成している。しかし、GANには2つの点で限界がある。GANは低い台の分布を学習することが多く、モード崩壊と呼ばれる現象が発生する。本論文では、これらの欠点に対処するために、prescribed GAN(PresGAN)を開発した。PresGANは密度ネットワークの出力にノイズを加え、エントロピー正則化された敵対損失を最適化する。追加されたノイズは、予測対数尤度の扱いやすい近似を行い、訓練手順を安定化させる。エントロピー正則化は、PresGANがデータ分布のすべてのモードを捕捉することを奨励する。PresGANの適合には、エントロピー正則化項の難解な勾配を計算する必要があるが、PresGANは偏りの無い確率的推定値を用いてこの難解さを回避する。我々は、いくつかのデータセットでPresGANを評価した結果、モード崩壊を緩和し、知覚品質の高いサンプルを生成することを発見した。さらに、PresGANは従来のGANと変分的自動エンコーダー(VAE)との間の予測対数尤度のパフォーマンスのギャップを減少させることを発見した。
Generative adversarial networks (GANs) are a powerful approach to unsupervised learning. They have achieved state-of-the-art performance in the image domain. However, GANs are limited in two ways. They often learn distributions with low support---a phenomenon known as mode collapse---and they do not guarantee the existence of a probability density, which makes evaluating generalization using predictive log-likelihood impossible. In this paper, we develop the prescribed GAN (PresGAN) to address these shortcomings. PresGANs add noise to the output of a density network and optimize an entropy-regularized adversarial loss. The added noise renders tractable approximations of the predictive log-likelihood and stabilizes the training procedure. The entropy regularizer encourages PresGANs to capture all the modes of the data distribution. Fitting PresGANs involves computing the intractable gradients of the entropy regularization term; PresGANs sidestep this intractability using unbiased stochastic estimates. We evaluate PresGANs on several datasets and found they mitigate mode collapse and generate samples with high perceptual quality. We further found that PresGANs reduce the gap in performance in terms of predictive log-likelihood between traditional GANs and variational autoencoders (VAEs).
updated: Wed Oct 09 2019 23:40:05 GMT+0000 (UTC)
published: Wed Oct 09 2019 23:40:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト