arXiv reaDer
Adversarial Lipschitz Regularization
 生成的敵対ネットワーク(GAN)は、生成モデルのトレーニングに関して最も一般的なアプローチの1つです。その中で、Wasserstein GANのバリアントは、学習の安定性とサンプル品質の点で標準のGAN定式よりも優れていると考えられています。ただし、Wasserstein GANは批評家が1-Lipschitzであることを要求します。これは、その勾配のノルムにペナルティを課すか、重み正規化手法を介してそのLipschitz定数をグローバルに制限することによって暗黙的に強制されることがよくあります。勾配のノルムを介するのではなく、リプシッツ制約の違反を明示的に罰する正則化用語を使用したトレーニングは、ほとんどの状況で実際に実行不可能であることがわかりました。 Virtual Adversarial Trainingに触発されて、Adversarial Lipschitz Regularizationと呼ばれる方法を提案し、明示的なLipschitzペナルティの使用が実際に実行可能であり、Wasserstein GANに適用されると競争力のあるパフォーマンスにつながることを示します。
Generative adversarial networks (GANs) are one of the most popular approaches when it comes to training generative models, among which variants of Wasserstein GANs are considered superior to the standard GAN formulation in terms of learning stability and sample quality. However, Wasserstein GANs require the critic to be 1-Lipschitz, which is often enforced implicitly by penalizing the norm of its gradient, or by globally restricting its Lipschitz constant via weight normalization techniques. Training with a regularization term penalizing the violation of the Lipschitz constraint explicitly, instead of through the norm of the gradient, was found to be practically infeasible in most situations. Inspired by Virtual Adversarial Training, we propose a method called Adversarial Lipschitz Regularization, and show that using an explicit Lipschitz penalty is indeed viable and leads to competitive performance when applied to Wasserstein GANs, highlighting an important connection between Lipschitz regularization and adversarial training.
updated: Fri Jan 03 2020 09:11:31 GMT+0000 (UTC)
published: Fri Jul 12 2019 11:41:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト