条件付き生成は、生成の出力が属性情報によって条件付けられる生成問題のサブクラスです。この論文では、探索可能な潜在空間を持つ確率的対照条件付き生成的敵対的ネットワーク(InfoSCC-GAN)を提示します。 InfoSCC-GANアーキテクチャは、InfoNCEパラダイム、属性分類子、およびEigenGANジェネレーターに基づいて構築された教師なし対照エンコーダーに基づいています。事前にトレーニングされた対照エンコーダーと事前にトレーニングされた分類器を使用して、n回ごとに外部または内部属性を使用するジェネレーターの正則化に基づく新しいトレーニング方法を提案します。提案されたInfoSCC-GANは、入力データと潜在空間表現、および潜在空間と生成されたデータ間の相互情報量最大化の情報理論的定式化に基づいて導出されます。したがって、トレーニングの目的関数と上記の情報理論的定式化の間のリンクを示します。実験結果は、InfoSCC-GANがAFHQおよびCelebAデータセットでの画像生成において「バニラ」EigenGANよりも優れていることを示しています。さらに、アブレーション研究を実行することにより、弁別器アーキテクチャと損失関数の影響を調査します。最後に、EigenGANジェネレーターのおかげで、提案されたフレームワークは、バニラ決定論的GANとは対照的に確率的生成を享受しながら、既存のフレームワークとは対照的にエンコーダー、分類器、ジェネレーターの独立したトレーニングを行うことを示します。コード、実験結果、およびデモは、https://github.com/vkinakh/InfoSCC-GANからオンラインで入手できます。
Conditional generation is a subclass of generative problems where the output of the generation is conditioned by the attribute information. In this paper, we present a stochastic contrastive conditional generative adversarial network (InfoSCC-GAN) with an explorable latent space. The InfoSCC-GAN architecture is based on an unsupervised contrastive encoder built on the InfoNCE paradigm, an attribute classifier and an EigenGAN generator. We propose a novel training method, based on generator regularization using external or internal attributes every n-th iteration, using a pre-trained contrastive encoder and a pre-trained classifier. The proposed InfoSCC-GAN is derived based on an information-theoretic formulation of mutual information maximization between input data and latent space representation as well as latent space and generated data. Thus, we demonstrate a link between the training objective functions and the above information-theoretic formulation. The experimental results show that InfoSCC-GAN outperforms the "vanilla" EigenGAN in the image generation on AFHQ and CelebA datasets. In addition, we investigate the impact of discriminator architectures and loss functions by performing ablation studies. Finally, we demonstrate that thanks to the EigenGAN generator, the proposed framework enjoys a stochastic generation in contrast to vanilla deterministic GANs yet with the independent training of encoder, classifier, and generator in contrast to existing frameworks. Code, experimental results, and demos are available online at https://github.com/vkinakh/InfoSCC-GAN.