Generative Adversarial Networks(GAN)の最近の研究では、弁別器の過剰適合を防ぐ効果的な方法として、さまざまなデータ拡張手法を積極的に再検討しています。ただし、どの拡張が実際にGANを改善できるか、特に、トレーニングでより広範囲の拡張をどのように適用するかはまだ不明です。この論文では、最近の対照表現学習スキームをGAN弁別器、造語ContraDに組み込むことにより、これらの質問に対処する新しい方法を提案します。この「融合」により、弁別子はトレーニングの不安定性を増すことなく、はるかに強力な拡張で作業できるようになり、GANでの弁別子の過剰適合問題をより効果的に防ぐことができます。さらに良いことに、対照学習自体もGANトレーニングの恩恵を受けています。つまり、実際のサンプルと偽のサンプルの識別機能を維持することで、2つの世界間の強い一貫性を示唆しています。優れた対照表現はGAN識別者にも適しています。逆もまた同様です。私たちの実験結果は、ContraDを使用したGANは、データ拡張を組み込んだ他の最近の手法と比較して、一貫してFIDとISを改善し、線形評価の観点から識別器の高度な識別機能を維持していることを示しています。最後に、副産物として、教師なし方法(ラベルなし)でトレーニングされたGANが、ContraDの学習された機能を活用して、単純な潜在サンプリングを介して多くの条件付き生成モデルを誘導できることも示します。コードはhttps://github.com/jh-jeong/ContraDで入手できます。
Recent works in Generative Adversarial Networks (GANs) are actively revisiting various data augmentation techniques as an effective way to prevent discriminator overfitting. It is still unclear, however, that which augmentations could actually improve GANs, and in particular, how to apply a wider range of augmentations in training. In this paper, we propose a novel way to address these questions by incorporating a recent contrastive representation learning scheme into the GAN discriminator, coined ContraD. This "fusion" enables the discriminators to work with much stronger augmentations without increasing their training instability, thereby preventing the discriminator overfitting issue in GANs more effectively. Even better, we observe that the contrastive learning itself also benefits from our GAN training, i.e., by maintaining discriminative features between real and fake samples, suggesting a strong coherence between the two worlds: good contrastive representations are also good for GAN discriminators, and vice versa. Our experimental results show that GANs with ContraD consistently improve FID and IS compared to other recent techniques incorporating data augmentations, still maintaining highly discriminative features in the discriminator in terms of the linear evaluation. Finally, as a byproduct, we also show that our GANs trained in an unsupervised manner (without labels) can induce many conditional generative models via a simple latent sampling, leveraging the learned features of ContraD. Code is available at https://github.com/jh-jeong/ContraD.