arXiv reaDer
F-Drop&Match:高周波ドメインにデッドゾーンがあるGAN
F-Drop&Match: GANs with a Dead Zone in the High-Frequency Domain
深い畳み込みニューラルネットワーク(GAN)から構築された生成的敵対的ネットワークは、自然画像の高周波成分を正確に複製する機能を欠いています。この問題を軽減するために、周波数ドロップ(F-Drop)と周波数マッチング(F-Match)と呼ばれる2つの新しいトレーニング手法を紹介します。 F-Dropの重要なアイデアは、弁別器の入力画像から不要な高周波成分を除去することです。この簡単な変更により、高周波成分の摂動によって弁別器が混乱するのを防ぎます。さらに、F-Dropにより、GANは、自然画像の主要なコンポーネントが存在する低周波数領域でのフィッティングに焦点を合わせることができます。 F-Matchは、周波数領域での実際の画像と偽の画像の違いを最小限に抑えて、よりリアルな画像を生成します。 F-Matchは、ジェネレーターの目的関数の正則化項として実装されます。周波数領域でのバッチ平均誤差にペナルティを課します。 F-Matchは、ジェネレーターがF-Dropによってフィルターで除去された高周波領域に実際の画像に適合するのに役立ちます。 F-DropとF-Matchの組み合わせにより、複数の画像ベンチマークで周波数ドメインと空間ドメインの両方でGANの生成パフォーマンスが向上することを実験的に示します。
Generative adversarial networks built from deep convolutional neural networks (GANs) lack the ability to exactly replicate the high-frequency components of natural images. To alleviate this issue, we introduce two novel training techniques called frequency dropping (F-Drop) and frequency matching (F-Match). The key idea of F-Drop is to filter out unnecessary high-frequency components from the input images of the discriminators. This simple modification prevents the discriminators from being confused by perturbations of the high-frequency components. In addition, F-Drop makes the GANs focus on fitting in the low-frequency domain, in which there are the dominant components of natural images. F-Match minimizes the difference between real and fake images in the frequency domain for generating more realistic images. F-Match is implemented as a regularization term in the objective functions of the generators; it penalizes the batch mean error in the frequency domain. F-Match helps the generators to fit in the high-frequency domain filtered out by F-Drop to the real image. We experimentally demonstrate that the combination of F-Drop and F-Match improves the generative performance of GANs in both the frequency and spatial domain on multiple image benchmarks.
updated: Wed Aug 18 2021 08:13:42 GMT+0000 (UTC)
published: Fri Jun 04 2021 08:51:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト