生成的敵対的ネットワーク(GAN)は、ディープニューラルネットワークの開発のおかげで、さまざまなシナリオで広く適用されてきました。元のGANは、ネットワークの無限容量のノンパラメトリックな仮定に基づいて提案されました。ただし、GANが事前情報なしで現実的なサンプルを生成できるかどうかはまだ不明です。過信の仮定のために、GANのトレーニングでは、非収束、モードの崩壊、勾配消失など、多くの問題が未解決のままです。正則化と正規化は、トレーニングを安定させ、識別を改善するために事前情報を導入する一般的な方法です。 GANには少数の正則化と正規化の方法が提案されていますが、私たちの知る限り、これらの方法の目的と開発に主に焦点を当てた包括的な調査はありません。この作業では、GANトレーニングのさまざまな観点から、正則化と正規化の手法に関する包括的な調査を実施します。まず、GANトレーニングのさまざまな視点を体系的に説明し、正則化と正規化のさまざまな目的を取得します。これらの目的に基づいて、新しい分類法を提案します。さらに、さまざまなデータセットでの主流の方法のパフォーマンスを比較し、SOTAGANで頻繁に使用されている正則化および正規化手法を調査します。最後に、この領域での研究の潜在的な将来の方向性を強調します。
Generative Adversarial Networks (GANs) have been widely applied in different scenarios thanks to the development of deep neural networks. The original GAN was proposed based on the non-parametric assumption of the infinite capacity of networks. However, it is still unknown whether GANs can generate realistic samples without any prior information. Due to the overconfident assumption, many issues remain unaddressed in GANs' training, such as non-convergence, mode collapses, gradient vanishing. Regularization and normalization are common methods of introducing prior information to stabilize training and improve discrimination. Although a handful number of regularization and normalization methods have been proposed for GANs, to the best of our knowledge, there exists no comprehensive survey which primarily focuses on objectives and development of these methods, apart from some in-comprehensive and limited scope studies. In this work, we conduct a comprehensive survey on the regularization and normalization techniques from different perspectives of GANs training. First, we systematically describe different perspectives of GANs training and thus obtain the different objectives of regularization and normalization. Based on these objectives, we propose a new taxonomy. Furthermore, we compare the performance of the mainstream methods on different datasets and investigate the regularization and normalization techniques that have been frequently employed in SOTA GANs. Finally, we highlight potential future directions of research in this domain.