生成的敵対的ネットワーク(GAN)は、画像生成の問題を解決するために最も使用されるネットワークモデルになりました。近年、自己監視型GANは、壊滅的な忘却の問題なしに安定したGANトレーニングを支援し、データのクラスラベルを必要とせずに画像生成品質を向上させるために提案されています。ただし、さまざまなGANアーキテクチャでの自己監視タスクの一般化可能性はこれまで研究されていません。そのために、一般化可能性のコンテキストでDeshuffleGANのデシャッフルタスクの寄与を広範囲に分析します。デシャッフルタスクを2つの異なるGANディスクリミネーターに割り当て、両方のアーキテクチャに対するデシャッフルの影響を調査します。また、GANベンチマークで主に使用されるさまざまなデータセット(LSUN-ベッドルーム、LSUN-教会、CelebA-HQ)でのDeshuffleGANのパフォーマンスを評価します。 DeshuffleGANが、他の自己教師ありGANと比較して、LSUNデータセットに対して最良のFID結果を取得することを示します。さらに、デシャッフルをGANトレーニングに最初に展開された回転予測と比較し、その寄与が回転予測を超えていることを示します。最後に、損失状況に関するGANトレーニングへの自己監視タスクの貢献を示し、一部の設定では、自己監視タスクの効果が敵対的トレーニングと協調しない可能性があることを示します。私たちのコードはhttps://github.com/gulcinbaykal/DeshuffleGANにあります。
Generative Adversarial Networks (GANs) have become the most used network models towards solving the problem of image generation. In recent years, self-supervised GANs are proposed to aid stabilized GAN training without the catastrophic forgetting problem and to improve the image generation quality without the need for the class labels of the data. However, the generalizability of the self-supervision tasks on different GAN architectures is not studied before. To that end, we extensively analyze the contribution of the deshuffling task of DeshuffleGANs in the generalizability context. We assign the deshuffling task to two different GAN discriminators and study the effects of the deshuffling on both architectures. We also evaluate the performance of DeshuffleGANs on various datasets that are mostly used in GAN benchmarks: LSUN-Bedroom, LSUN-Church, and CelebA-HQ. We show that the DeshuffleGAN obtains the best FID results for LSUN datasets compared to the other self-supervised GANs. Furthermore, we compare the deshuffling with the rotation prediction that is firstly deployed to the GAN training and demonstrate that its contribution exceeds the rotation prediction. Lastly, we show the contribution of the self-supervision tasks to the GAN training on loss landscape and present that the effects of the self-supervision tasks may not be cooperative to the adversarial training in some settings. Our code can be found at https://github.com/gulcinbaykal/DeshuffleGAN.