限られた実像データで生成的敵対的ネットワーク(GAN)をトレーニングすると、一般にパフォーマンスが低下し、モデルが崩壊します。この課題を克服するために、GANから独立してトレーニング可能で非常にまばらなサブネットワーク(別名、宝くじ)を発見できるという最新の観察に触発されました。これを帰納的事前確率として扱い、データ効率の高いGANトレーニングに向けたまったく新しい角度を提案します。最初に、実際の画像の小さなトレーニングセットを使用して、元のGANから宝くじを特定します。次に、同じセットを再利用することにより、スパースサブネットワークのトレーニングに焦点を合わせます。既存の実画像データ拡張方法に直交ゲインを提供するための調整されたフレームワークを見つけ、さらに、それらと一緒に適用できる新しい機能レベルの拡張を提示します。包括的な実験は、さまざまなGANアーキテクチャ(SNGAN、BigGAN、およびStyleGAN-V2)と多様なデータセット(CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet、および複数の数ショット生成データセット)にわたって、提案されたフレームワークの有効性を裏付けています。 。コードはhttps://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Trainingで入手できます。
Training generative adversarial networks (GANs) with limited real image data generally results in deteriorated performance and collapsed models. To conquer this challenge, we are inspired by the latest observation, that one can discover independently trainable and highly sparse subnetworks (a.k.a., lottery tickets) from GANs. Treating this as an inductive prior, we suggest a brand-new angle towards data-efficient GAN training: by first identifying the lottery ticket from the original GAN using the small training set of real images; and then focusing on training that sparse subnetwork by re-using the same set. We find our coordinated framework to offer orthogonal gains to existing real image data augmentation methods, and we additionally present a new feature-level augmentation that can be applied together with them. Comprehensive experiments endorse the effectiveness of our proposed framework, across various GAN architectures (SNGAN, BigGAN, and StyleGAN-V2) and diverse datasets (CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNet, and multiple few-shot generation datasets). Codes are available at: https://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Training.