ネットワークは正確で堅牢なものではないと一般に考えられています。堅牢性を獲得することは、正確さを失うことを意味します。また、ネットワークを大きくしない限り、ネットワークのアーキテクチャ要素は、敵対者の堅牢性を向上させる上でほとんど問題にならないことも一般的に考えられています。ここでは、敵対的な訓練についての注意深い研究によって、これらの一般的な信念に挑戦する証拠を提示します。私たちの重要な観察は、広く使用されているReLU活性化関数は、その滑らかでない性質のために敵対的な訓練を大幅に弱めることです。したがって、スムーズな敵対的トレーニング(SAT)を提案します。この場合、ReLUをそのスムーズな近似に置き換えて、敵対的トレーニングを強化します。 SATのスムーズな活性化関数の目的は、より困難な敵対的な例を見つけ、敵対的なトレーニング中により良い勾配更新を計算できるようにすることです。標準の敵対者トレーニングと比較して、SATは「無料」で敵対者の堅牢性を向上させます。つまり、精度の低下や計算コストの増加はありません。たとえば、追加の計算を導入することなく、SATはResNet-50の堅牢性を33.0%から42.3%に大幅に向上させると同時に、ImageNetの精度を0.9%向上させます。 SATは、大規模なネットワークでもうまく機能します。これにより、EfficientNet-L1はImageNetで82.2%の精度と58.6%の堅牢性を実現し、以前の最先端の防御を精度で9.5%、堅牢性で11.6%上回ります。モデルはhttps://github.com/cihangxie/SmoothAdversarialTrainingで入手できます。
It is commonly believed that networks cannot be both accurate and robust, that gaining robustness means losing accuracy. It is also generally believed that, unless making networks larger, network architectural elements would otherwise matter little in improving adversarial robustness. Here we present evidence to challenge these common beliefs by a careful study about adversarial training. Our key observation is that the widely-used ReLU activation function significantly weakens adversarial training due to its non-smooth nature. Hence we propose smooth adversarial training (SAT), in which we replace ReLU with its smooth approximations to strengthen adversarial training. The purpose of smooth activation functions in SAT is to allow it to find harder adversarial examples and compute better gradient updates during adversarial training. Compared to standard adversarial training, SAT improves adversarial robustness for "free", i.e., no drop in accuracy and no increase in computational cost. For example, without introducing additional computations, SAT significantly enhances ResNet-50's robustness from 33.0% to 42.3%, while also improving accuracy by 0.9% on ImageNet. SAT also works well with larger networks: it helps EfficientNet-L1 to achieve 82.2% accuracy and 58.6% robustness on ImageNet, outperforming the previous state-of-the-art defense by 9.5% for accuracy and 11.6% for robustness. Models are available at https://github.com/cihangxie/SmoothAdversarialTraining.