ディープニューラルネットワークをだますことに対する敵対的攻撃の信じられないほどの効果は、安全性とセキュリティが重要なドメインでディープラーニングを広く採用する上で大きなハードルをもたらします。ディープニューラルネットワークの敵対的な脆弱性の問題が発見されて以来、敵対的な防御メカニズムが提案されてきましたが、この問題を完全に理解して対処するには長い道のりがあります。この研究では、敵対的攻撃の信じられないほどの効果の理由の一部は、ディープニューラルネットワークの勾配フローを暗黙的に利用して悪用する能力であると仮定します。勾配フローを悪用するこの生来の能力は、そのような攻撃に対する防御を非常に困難にします。この仮説に動機付けられて、ディープニューラルネットワークアーキテクチャがトレーニング中に独自の勾配フローを明示的に利用できる場合、防御能力を大幅に高めることができると主張します。この事実に触発されて、自己勾配ネットワークの概念を紹介します。これは、敵対的な摂動に対してより堅牢になるように設計された新しいディープニューラルネットワークアーキテクチャです。勾配フロー情報は、自己勾配ネットワーク内で活用され、標準のトレーニングプロセスで達成できる以上の摂動安定性を実現します。この追加の勾配フロー情報を活用することの有効性を説明するために、提案された自己勾配ネットワークの動作についてより良い洞察を得るために理論的分析を実施します。提案された自己勾配ネットワークアーキテクチャは、はるかに効率的かつ効果的な敵対的トレーニングを可能にし、敵対的に堅牢なソリューションへの収束を少なくとも10%高速化します。実験結果は、最先端の敵対的学習戦略と比較した場合の自己勾配ネットワークの有効性を示しており、PGDおよびCWの敵対的摂動下でCIFAR10データセットが10%向上しています。
The incredible effectiveness of adversarial attacks on fooling deep neural networks poses a tremendous hurdle in the widespread adoption of deep learning in safety and securitycritical domains. While adversarial defense mechanisms have been proposed since the discovery of the adversarial vulnerability issue of deep neural networks, there is a long path to fully understand and address this issue. In this study, we hypothesize that part of the reason for the incredible effectiveness of adversarial attacks is their ability to implicitly tap into and exploit the gradient flow of a deep neural network. This innate ability to exploit gradient flow makes defending against such attacks quite challenging. Motivated by this hypothesis we argue that if a deep neural network architecture can explicitly tap into its own gradient flow during the training, it can boost its defense capability significantly. Inspired by this fact, we introduce the concept of self-gradient networks, a novel deep neural network architecture designed to be more robust against adversarial perturbations. Gradient flow information is leveraged within self-gradient networks to achieve greater perturbation stability beyond what can be achieved in the standard training process. We conduct a theoretical analysis to gain better insights into the behaviour of the proposed self-gradient networks to illustrate the efficacy of leverage this additional gradient flow information. The proposed self-gradient network architecture enables much more efficient and effective adversarial training, leading to faster convergence towards an adversarially robust solution by at least 10?. Experimental results demonstrate the effectiveness of self-gradient networks when compared with state-of-the-art adversarial learning strategies, with 10% improvement on the CIFAR10 dataset under PGD and CW adversarial perturbations.