Generative Adversarial Network (GAN) は、リアルな画像合成のための最先端の生成モデルの 1 つです。 GAN のトレーニングと評価がますます重要になる一方で、現在の GAN 研究エコシステムは、評価が一貫して公正に行われる信頼できるベンチマークを提供していません。さらに、検証された GAN 実装がほとんどないため、研究者はベースラインの再現にかなりの時間を費やしています。私たちは GAN アプローチの分類を研究し、StudioGAN という名前の新しいオープンソース ライブラリを紹介します。 StudioGAN は、7 つの GAN アーキテクチャ、9 つの調整方法、4 つの敵対的損失、12 の正則化モジュール、3 つの微分可能な拡張、7 つの評価メトリック、および 5 つの評価バックボーンをサポートします。トレーニングおよび評価プロトコルでは、さまざまなデータセット (CIFAR10、ImageNet、AFHQv2、FFHQ、Baby/Papa/Granpa-ImageNet) と 3 つの異なる評価バックボーン (InceptionV3、SwAV、および Swin Transformer) を使用した大規模なベンチマークを提示します。 GAN コミュニティで使用されている他のベンチマークとは異なり、統合されたトレーニング パイプラインで BigGAN および StyleGAN シリーズを含む代表的な GAN をトレーニングし、7 つの評価指標で生成パフォーマンスを定量化します。このベンチマークは、他の最先端の生成モデル (StyleGAN-XL、ADM、MaskGIT、RQ-Transformer など) を評価します。 StudioGAN は、事前にトレーニングされた重みを備えた GAN 実装、トレーニング、および評価スクリプトを提供します。 StudioGAN は https://github.com/POSTECH-CVLab/PyTorch-StudioGAN で入手できます。
Generative Adversarial Network (GAN) is one of the state-of-the-art generative models for realistic image synthesis. While training and evaluating GAN becomes increasingly important, the current GAN research ecosystem does not provide reliable benchmarks for which the evaluation is conducted consistently and fairly. Furthermore, because there are few validated GAN implementations, researchers devote considerable time to reproducing baselines. We study the taxonomy of GAN approaches and present a new open-source library named StudioGAN. StudioGAN supports 7 GAN architectures, 9 conditioning methods, 4 adversarial losses, 12 regularization modules, 3 differentiable augmentations, 7 evaluation metrics, and 5 evaluation backbones. With our training and evaluation protocol, we present a large-scale benchmark using various datasets (CIFAR10, ImageNet, AFHQv2, FFHQ, and Baby/Papa/Granpa-ImageNet) and 3 different evaluation backbones (InceptionV3, SwAV, and Swin Transformer). Unlike other benchmarks used in the GAN community, we train representative GANs, including BigGAN and StyleGAN series in a unified training pipeline and quantify generation performance with 7 evaluation metrics. The benchmark evaluates other cutting-edge generative models (e.g., StyleGAN-XL, ADM, MaskGIT, and RQ-Transformer). StudioGAN provides GAN implementations, training, and evaluation scripts with the pre-trained weights. StudioGAN is available at https://github.com/POSTECH-CVLab/PyTorch-StudioGAN.