生成的敵対的ネットワーク(GAN)には、実際の画像と視覚的に区別できない画像を生成する機能があります。ただし、最近の研究では、生成された画像と実際の画像が周波数領域で大きな違いを共有していることが明らかになっています。この論文では、GANトレーニングにおける高周波成分の影響を調査します。私たちの観察によると、ほとんどのGANのトレーニング中に、深刻な高周波の違いにより、弁別器は高周波成分に過度に焦点を合わせ、画像のコンテンツの学習に重要な低周波成分をジェネレータが適合させるのを妨げます。次に、GANトレーニングの高周波差によって引き起こされる副作用を排除するための2つのシンプルで効果的な周波数演算を提案します。高周波混同(HFC)と高周波フィルター(HFF)です。提案された操作は一般的であり、わずかなコストでほとんどの既存のGANに適用できます。提案された操作の高度なパフォーマンスは、複数の損失関数、ネットワークアーキテクチャ、およびデータセットで検証されます。具体的には、提案されたHFFは、SNGANに基づくCelebA(128 * 128)無条件生成で42.5%FID、SSGANに基づくCelebA無条件生成で30.2%FID、InfoMAXGANに基づくCelebA無条件生成で69.3%FIDの大幅な改善を達成します。
Generative Adversarial Networks (GANs) have the ability to generate images that are visually indistinguishable from real images. However, recent studies have revealed that generated and real images share significant differences in the frequency domain. In this paper, we explore the effect of high-frequency components in GANs training. According to our observation, during the training of most GANs, severe high-frequency differences make the discriminator focus on high-frequency components excessively, which hinders the generator from fitting the low-frequency components that are important for learning images' content. Then, we propose two simple yet effective frequency operations for eliminating the side effects caused by high-frequency differences in GANs training: High-Frequency Confusion (HFC) and High-Frequency Filter (HFF). The proposed operations are general and can be applied to most existing GANs with a fraction of the cost. The advanced performance of the proposed operations is verified on multiple loss functions, network architectures, and datasets. Specifically, the proposed HFF achieves significant improvements of 42.5% FID on CelebA (128*128) unconditional generation based on SNGAN, 30.2% FID on CelebA unconditional generation based on SSGAN, and 69.3% FID on CelebA unconditional generation based on InfoMAXGAN.