arXiv reaDer
Self-supervised GAN: Analysis and Improvement with Multi-class Minimax Game
 自己監視(SS)学習は、ラベルなしデータを使用した表現学習の強力なアプローチです。最近、Generative Adversarial Networks(GAN)トレーニングに適用されました。具体的には、GAN弁別器の壊滅的な忘却問題に対処するためのSSタスクが提案されました。この作業では、SSタスクがジェネレーターの学習と相互作用する方法を理解するために、詳細な分析を実行します。分析から、SSモードの問題を特定します。これにより、モードが著しく崩壊したジェネレーターがSSタスクを上回ることができます。この問題に対処するために、マルチクラスミニマックスゲームに基づいた新しいSSタスクを提案します。ゲームで提案されているSSタスク間の競争により、ジェネレーターはデータ分布を学習し、多様なサンプルを生成することができます。提案されたSSタスクがより良い収束特性を持つことをサポートするために、理論的および経験的分析の両方を提供します。提案されたSSタスクを2つの異なるGANベースラインモデルに組み込むための実験を行います。私たちのアプローチは、CIFAR-10、CIFAR-100、STL-10、CelebA、Imagenet 32×32、およびStacked-MNISTデータセットの最新のFIDスコアを確立し、場合によっては既存の作品をかなりのマージンでアウトパフォームします。無条件のGANモデルは、ラベル付きデータを使用せずに条件付きGANのパフォーマンスに近づきます。コード:
Self-supervised (SS) learning is a powerful approach for representation learning using unlabeled data. Recently, it has been applied to Generative Adversarial Networks (GAN) training. Specifically, SS tasks were proposed to address the catastrophic forgetting issue in the GAN discriminator. In this work, we perform an in-depth analysis to understand how SS tasks interact with learning of generator. From the analysis, we identify issues of SS tasks which allow a severely mode-collapsed generator to excel the SS tasks. To address the issues, we propose new SS tasks based on a multi-class minimax game. The competition between our proposed SS tasks in the game encourages the generator to learn the data distribution and generate diverse samples. We provide both theoretical and empirical analysis to support that our proposed SS tasks have better convergence property. We conduct experiments to incorporate our proposed SS tasks into two different GAN baseline models. Our approach establishes state-of-the-art FID scores on CIFAR-10, CIFAR-100, STL-10, CelebA, Imagenet 32×32 and Stacked-MNIST datasets, outperforming existing works by considerable margins in some cases. Our unconditional GAN model approaches performance of conditional GAN without using labeled data. Our code:
updated: Wed Jan 08 2020 18:00:44 GMT+0000 (UTC)
published: Sat Nov 16 2019 08:51:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト