生成的敵対的ネットワーク(GAN)は、トレーニング中に批評家(弁別者)ネットワークを正規化または正規化することで恩恵を受けることが知られています。このホワイトペーパーでは、一般的なスペクトル正規化スキームを分析し、重大な欠点を見つけ、GANトレーニングを安定させるための新しい代替アプローチであるスパース性認識正規化(SAN)を紹介します。他の正規化方法とは対照的に、私たちのアプローチは、ReLUアクティベーションを使用した畳み込みネットワークの特徴マップのまばらな性質を明示的に説明します。さまざまなネットワークアーキテクチャを使用した広範な実験を通じて、この方法の有効性を説明します。私たちが示すように、スパース性は、画像から画像への変換設定に使用される批評家で特に支配的です。これらの場合、私たちのアプローチは、トレーニングエポックが少なく、ネットワーク容量が小さい既存の方法を改善しますが、計算のオーバーヘッドはほとんど必要ありません。
Generative adversarial networks (GANs) are known to benefit from regularization or normalization of their critic (discriminator) network during training. In this paper, we analyze the popular spectral normalization scheme, find a significant drawback and introduce sparsity aware normalization (SAN), a new alternative approach for stabilizing GAN training. As opposed to other normalization methods, our approach explicitly accounts for the sparse nature of the feature maps in convolutional networks with ReLU activations. We illustrate the effectiveness of our method through extensive experiments with a variety of network architectures. As we show, sparsity is particularly dominant in critics used for image-to-image translation settings. In these cases our approach improves upon existing methods, in less training epochs and with smaller capacity networks, while requiring practically no computational overhead.