arXiv reaDer
StudioGAN:画像合成のためのGANの分類法とベンチマーク
StudioGAN: A Taxonomy and Benchmark of GANs for Image Synthesis
Generative Adversarial Network(GAN)は、現実的な画像合成のための最先端の生成モデルの1つです。 GANのトレーニングと評価はますます重要になっていますが、現在のGAN研究エコシステムは、評価が一貫して公正に行われる信頼できるベンチマークを提供していません。さらに、検証済みのGAN実装がほとんどないため、研究者はベースラインの再現にかなりの時間を費やしています。 GANアプローチの分類法を研究し、StudioGANという名前の新しいオープンソースライブラリを紹介します。 StudioGANは、7つのGANアーキテクチャ、9つの調整方法、4つの敵対的損失、13の正則化モジュール、3つの微分可能な拡張、7つの評価メトリック、および5つの評価バックボーンをサポートします。トレーニングと評価のプロトコルを使用して、さまざまなデータセット(CIFAR10、ImageNet、AFHQv2、FFHQ、およびBaby / Papa / Granpa-ImageNet)と3つの異なる評価バックボーン(InceptionV3、SwAV、およびSwin Transformer)を使用して大規模なベンチマークを提示します。 GANコミュニティで使用されている他のベンチマークとは異なり、BigGAN、StyleGAN2、StyleGAN3などの代表的なGANを統一されたトレーニングパイプラインでトレーニングし、7つの評価指標を使用して生成パフォーマンスを定量化します。ベンチマークは、他の最先端の生成モデル(StyleGAN-XL、ADM、MaskGIT、RQ-Transformerなど)を評価します。 StudioGANは、事前にトレーニングされた重みを使用して、GANの実装、トレーニング、および評価スクリプトを提供します。 StudioGANは、https://github.com/POSTECH-CVLab/PyTorch-StudioGANで入手できます。
Generative Adversarial Network (GAN) is one of the state-of-the-art generative models for realistic image synthesis. While training and evaluating GAN becomes increasingly important, the current GAN research ecosystem does not provide reliable benchmarks for which the evaluation is conducted consistently and fairly. Furthermore, because there are few validated GAN implementations, researchers devote considerable time to reproducing baselines. We study the taxonomy of GAN approaches and present a new open-source library named StudioGAN. StudioGAN supports 7 GAN architectures, 9 conditioning methods, 4 adversarial losses, 13 regularization modules, 3 differentiable augmentations, 7 evaluation metrics, and 5 evaluation backbones. With our training and evaluation protocol, we present a large-scale benchmark using various datasets (CIFAR10, ImageNet, AFHQv2, FFHQ, and Baby/Papa/Granpa-ImageNet) and 3 different evaluation backbones (InceptionV3, SwAV, and Swin Transformer). Unlike other benchmarks used in the GAN community, we train representative GANs, including BigGAN, StyleGAN2, and StyleGAN3, in a unified training pipeline and quantify generation performance with 7 evaluation metrics. The benchmark evaluates other cutting-edge generative models(e.g., StyleGAN-XL, ADM, MaskGIT, and RQ-Transformer). StudioGAN provides GAN implementations, training, and evaluation scripts with the pre-trained weights. StudioGAN is available at https://github.com/POSTECH-CVLab/PyTorch-StudioGAN.
updated: Sun Jun 19 2022 20:12:41 GMT+0000 (UTC)
published: Sun Jun 19 2022 20:12:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト