データが限られている生成的敵対的ネットワーク(GAN)をトレーニングすると、通常、パフォーマンスが低下し、モデルが崩壊します。この課題を克服するために、Kalibhatらの最新の観察に触発されました。 (2020); Chen et al。(2021d)は、GANから独立してトレーニング可能で非常にまばらなサブネットワーク(別名、宝くじ)を発見できることを示しています。これを帰納的事前分布として扱い、データを大量に消費するGANトレーニングを2つの連続したサブ問題に分解します。(i)元のGANから宝くじを特定する。次に、(ii)攻撃的なデータと機能の拡張を使用して、見つかったスパースサブネットワークをトレーニングします。両方のサブ問題は、実画像の同じ小さなトレーニングセットを再利用します。このような調整されたフレームワークにより、複雑性が低く、データ効率の高いサブ問題に焦点を当てることができ、トレーニングを効果的に安定させ、収束を改善できます。包括的な実験は、さまざまなGANアーキテクチャ(SNGAN、BigGAN、およびStyleGAN2)と多様なデータセット(CIFAR-10、CIFAR-100、Tiny-ImageNet、およびImageNet)にわたって、提案された超データ効率の高いトレーニングフレームワークの有効性を裏付けています。さらに、トレーニングフレームワークは、強力な数ショットの一般化機能も示します。つまり、事前トレーニングなしで、100枚の実画像を使用してゼロからトレーニングすることで忠実度の高い画像を生成します。コードはhttps://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Trainingで入手できます。
Training generative adversarial networks (GANs) with limited data generally results in deteriorated performance and collapsed models. To conquer this challenge, we are inspired by the latest observation of Kalibhat et al. (2020); Chen et al.(2021d), that one can discover independently trainable and highly sparse subnetworks (a.k.a., lottery tickets) from GANs. Treating this as an inductive prior, we decompose the data-hungry GAN training into two sequential sub-problems: (i) identifying the lottery ticket from the original GAN; then (ii) training the found sparse subnetwork with aggressive data and feature augmentations. Both sub-problems re-use the same small training set of real images. Such a coordinated framework enables us to focus on lower-complexity and more data-efficient sub-problems, effectively stabilizing training and improving convergence. Comprehensive experiments endorse the effectiveness of our proposed ultra-data-efficient training framework, across various GAN architectures (SNGAN, BigGAN, and StyleGAN2) and diverse datasets (CIFAR-10, CIFAR-100, Tiny-ImageNet, and ImageNet). Besides, our training framework also displays powerful few-shot generalization ability, i.e., generating high-fidelity images by training from scratch with just 100 real images, without any pre-training. Codes are available at: https://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Training.