arXiv reaDer
Consistency Regularization for Generative Adversarial Networks
 Generative Adversarial Networks(GAN)は、かなりの研究努力にもかかわらず、訓練が難しいことが知られています。トレーニングを安定化するためのいくつかの正則化手法が提案されていますが、それらは重要な計算オーバーヘッドをもたらし、スペクトル正規化などの既存の手法との相互作用が不十分です。この作業では、一貫性の正則化の概念に基づいて、シンプルで効果的なトレーニングスタビライザーを提案します---半教師付き学習文献で一般的な手法です。特に、GAN弁別器に渡されるデータを増強し、これらの増強に対する弁別器の感度を低下させます。一貫した正則化がスペクトル正規化、さまざまなGANアーキテクチャ、損失関数、オプティマイザー設定で効果的に機能することを実証するために、一連の実験を実施します。この方法は、CIFAR-10およびCelebAの他の正則化方法と比較して、無条件の画像生成で最高のFIDスコアを達成します。さらに、一貫性のある正規化されたGAN(CR-GAN)は、CIFAR-10で14.73から11.48に、ImageNet-2012で8.73から6.66に、条件付き生成の最新のFIDスコアを改善します。
Generative Adversarial Networks (GANs) are known to be difficult to train, despite considerable research effort. Several regularization techniques for stabilizing training have been proposed, but they introduce non-trivial computational overheads and interact poorly with existing techniques like spectral normalization. In this work, we propose a simple, effective training stabilizer based on the notion of consistency regularization---a popular technique in the semi-supervised learning literature. In particular, we augment data passing into the GAN discriminator and penalize the sensitivity of the discriminator to these augmentations. We conduct a series of experiments to demonstrate that consistency regularization works effectively with spectral normalization and various GAN architectures, loss functions and optimizer settings. Our method achieves the best FID scores for unconditional image generation compared to other regularization methods on CIFAR-10 and CelebA. Moreover, Our consistency regularized GAN (CR-GAN) improves state-of-the-art FID scores for conditional generation from 14.73 to 11.48 on CIFAR-10 and from 8.73 to 6.66 on ImageNet-2012.
updated: Tue Feb 18 2020 21:43:54 GMT+0000 (UTC)
published: Sat Oct 26 2019 09:06:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト