arXiv reaDer
Adversarial Margin Maximization Networks
 ディープニューラルネットワーク(DNN)の最近の大きな成功は、その予測能力を理解することへの関心の高まりを引き起こしました。堅牢に一般化してほとんど監督なしで学習できる人間の視覚システムとは異なり、DNNは通常、新しい概念を学習するために大量のデータを必要とします。さらに、研究により、DNNは敵対的な例に対して脆弱であることが示されています-悪意を持って生成された画像は、知覚的には自然な画像に似ているように見えますが、実際には学習モデルを欺くため、モデルは特定の種類の歪みのある見えないデータに一般化する問題を抱えています。この論文では、DNNの一般化能力を包括的に分析し、幾何学的な観点からそれを改善しようとします。敵対的摂動をプロキシとして利用する学習ベースの正則化である敵対的マージン最大化(AMM)を提案します。サポートベクターマシンのように、入力スペースに大きなマージンを確保します。摂動の微分可能な定式化により、単純に逆伝播を通じてエンドツーエンドの方法で正規化されたDNNをトレーニングします。さまざまなデータセット(MNIST、CIFAR-10 / 100、SVHN、およびImageNetを含む)とさまざまなDNNアーキテクチャの実験結果は、以前の最先端技術に対する当社の方法の優位性を示しています。結果を再現するためのコードとモデルは一般公開されます。
The tremendous recent success of deep neural networks (DNNs) has sparked a surge of interest in understanding their predictive ability. Unlike the human visual system which is able to generalize robustly and learn with little supervision, DNNs normally require a massive amount of data to learn new concepts. In addition, research works also show that DNNs are vulnerable to adversarial examples-maliciously generated images which seem perceptually similar to the natural ones but are actually formed to fool learning models, which means the models have problem generalizing to unseen data with certain type of distortions. In this paper, we analyze the generalization ability of DNNs comprehensively and attempt to improve it from a geometric point of view. We propose adversarial margin maximization (AMM), a learning-based regularization which exploits an adversarial perturbation as a proxy. It encourages a large margin in the input space, just like the support vector machines. With a differentiable formulation of the perturbation, we train the regularized DNNs simply through back-propagation in an end-to-end manner. Experimental results on various datasets (including MNIST, CIFAR-10/100, SVHN and ImageNet) and different DNN architectures demonstrate the superiority of our method over previous state-of-the-arts. Code and models for reproducing our results will be made publicly available.
updated: Thu Nov 14 2019 03:13:17 GMT+0000 (UTC)
published: Thu Nov 14 2019 03:13:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト