arXiv reaDer
生成的敵対的ネットワークの正則化と正規化:調査
Regularization and Normalization For Generative Adversarial Networks: A Survey
人気のある生成モデルである生成的敵対的ネットワーク(GAN)は、ディープニューラルネットワークの開発のおかげで、さまざまなシナリオで広く適用されています。標準GANの提案は、ネットワークの無限容量のノンパラメトリックな仮定に基づいています。 GANが事前に現実的なサンプルを生成できるかどうかはまだ不明です。過度の仮定のため、GANトレーニングでは、非収束、モードの崩壊、勾配の消失、ハイパーパラメータの感度など、多くの問題に対処する必要があります。認められているように、正則化と正規化は事前情報を導入する一般的な方法であり、安定性トレーニングにも使用できます。現在、GANでは多くの正則化と正則化の方法が提案されていますが、これらの方法を体系的に説明するために、本稿ではGANで使用される正則化と正則化の方法を要約し、勾配ペナルティ、ノルムの正則化と正則化、Jacobianの7つのグループに分類します。正則化、レイヤーの正則化、整合性の正則化、データの拡張、および自己監視。この論文は、これらの方法の分析を提示し、この分野で可能な将来の研究に焦点を当てています。
Generative Adversarial Networks (GANs), a popular generative model, have been widely applied in different scenarios thanks to the development of deep neural networks. The proposal of standard GAN is based upon the non-parametric assumption of the infinite capacity of networks. It is still unknown whether GANs can generate realistic samples without any prior. Due to excessive assumptions, many issues need to be addressed in GANs training, such as non-convergence, mode collapses, gradient disappearance, and the sensitivity of hyperparameters. As acknowledged, regularization and normalization are common methods of introducing prior information and can be used for stability training as well. At present, many regularization and normalization methods are proposed in GANs.In order to explain these methods in a systematic manner, this paper summarizes regularization and normalization methods used in GANs and classifies them into seven groups: Gradient penalty, Norm normalization and regularization, Jacobian regularization, Layer normalization, Consistency regularization, Data Augmentation, and Self-supervision. This paper presents the analysis of these methods and highlights the possible future studies in this area.
updated: Mon Nov 30 2020 03:15:54 GMT+0000 (UTC)
published: Wed Aug 19 2020 12:52:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト