条件付き生成敵対的ネットワーク(cGAN)は、入力条件と潜在コードを指定して多様な画像を合成することを目的としていますが、残念ながら、通常はモード崩壊の問題に悩まされています。この問題を解決するために、これまでの研究は、さまざまな潜在コードから生成された画像間の関係を無視しながら、潜在コードとそれらの生成された画像との間の相関を促進することに主に焦点を合わせていました。最近のMSGANは、生成された画像の多様性を促進しようとしましたが、画像ペア間の「負の」関係のみを考慮しています。この論文では、潜在空間で指定された生成画像間の「正」と「負」の両方の関係を適切に制約するための新しいDivCoフレームワークを提案します。私たちの知る限り、これは多様な条件付き画像合成に対照学習を使用する最初の試みです。新規の潜在的増強対照損失が導入され、隣接する潜在的コードから生成された画像が類似し、別個の潜在的コードから生成された画像が非類似になることを促進する。提案された潜在的増強対照損失は、さまざまなcGANアーキテクチャと十分に互換性があります。広範な実験により、提案されたDivCoは、複数のペアになっていない、またはペアになっている画像生成タスクで視覚品質を犠牲にすることなく、最先端の方法よりも多様な画像を生成できることが実証されています。
Conditional generative adversarial networks (cGANs) target at synthesizing diverse images given the input conditions and latent codes, but unfortunately, they usually suffer from the issue of mode collapse. To solve this issue, previous works mainly focused on encouraging the correlation between the latent codes and their generated images, while ignoring the relations between images generated from various latent codes. The recent MSGAN tried to encourage the diversity of the generated image but only considers "negative" relations between the image pairs. In this paper, we propose a novel DivCo framework to properly constrain both "positive" and "negative" relations between the generated images specified in the latent space. To the best of our knowledge, this is the first attempt to use contrastive learning for diverse conditional image synthesis. A novel latent-augmented contrastive loss is introduced, which encourages images generated from adjacent latent codes to be similar and those generated from distinct latent codes to be dissimilar. The proposed latent-augmented contrastive loss is well compatible with various cGAN architectures. Extensive experiments demonstrate that the proposed DivCo can produce more diverse images than state-of-the-art methods without sacrificing visual quality in multiple unpaired and paired image generation tasks.