最近、変換ベースの自己監視学習が生成的敵対的ネットワーク(GAN)に適用され、定常学習環境を導入することで、ディスクリミネーターの壊滅的な忘却を軽減しています。ただし、既存の自己監視GANの個別の自己監視タスクは、それらの自己監視分類器が生成者の分布にとらわれないという事実のために、生成モデリングと矛盾する目標を引き起こします。この問題に対処するために、データ変換の自己監視を介してGANラベル(本物または偽物)を拡張することにより、GANタスクを自己監視タスクと統合する新しい自己監視GANを提案します。具体的には、元の弁別子と自己監視分類器がラベル拡張弁別器に統合され、拡張ラベルがすべての変換でジェネレーター分布とデータ分布を認識するように予測し、ジェネレーターを最適化するためにそれらの間の不一致を提供します。理論的には、最適なジェネレーターが収束して、穏やかな仮定の下で実際のデータ分布を複製することを証明します。経験的に、提案された方法は、さまざまなベンチマークデータセット全体で、生成モデリングと表現学習の両方で、以前の自己監視およびデータ拡張GANを大幅に上回っていることを示しています。
Recently, transformation-based self-supervised learning has been applied to generative adversarial networks (GANs) to mitigate catastrophic forgetting in the discriminator by introducing stationary learning environments. However, the separate self-supervised tasks in existing self-supervised GANs cause a goal inconsistent with generative modeling due to the fact that their self-supervised classifiers are agnostic to the generator distribution. To address this problem, we propose a novel self-supervised GAN that unifies the GAN task with the self-supervised task by augmenting the GAN labels (real or fake) via self-supervision of data transformation. Specifically, the original discriminator and self-supervised classifier are unified into a label-augmented discriminator that predicts the augmented labels to be aware of the generator distribution and the data distribution under every transformation, and then provide the discrepancy between them to optimize the generator. Theoretically, we prove that the optimal generator converges to replicate the real data distribution under mild assumptions. Empirically, we show that the proposed method significantly outperforms previous self-supervised and data augmentation GANs on both generative modeling and representation learning across various benchmark datasets.