Projected Gradient Descent(PGD)を使用したAdversarial Training(AT)は、ディープニューラルネットワークの堅牢性を向上させるための効果的なアプローチです。ただし、PGD ATには、i)高い計算コスト、およびii)モデルの一般化の削減につながるトレーニング中の極端な過剰適合という2つの主な制限があることが示されています。モデル容量やトレーニングデータの規模などの要因が敵対的ロバスト性に及ぼす影響は広く研究されていますが、すべてのネットワーク最適化における非常に重要なパラメータが敵対的ロバスト性に及ぼす影響、つまり学習率にはほとんど注意が払われていません。特に、敵対的トレーニング中の効果的な学習率スケジューリングは、モデルを最初から敵対的にトレーニングする必要がなく、事前にトレーニングされたモデルを単に敵対的に微調整できる程度まで、過剰適合の問題を大幅に減らすことができると仮定します。この仮説に動機付けられて、必要な計算コストを大幅に削減するだけでなく、ディープニューラルの精度と堅牢性を大幅に向上させるスロースタート、高速減衰学習率スケジューリング戦略に基づく、シンプルでありながら非常に効果的な敵対的微調整アプローチを提案します。通信網。実験結果は、提案された敵対的な微調整アプローチが、CIFAR-10、CIFAR-100、およびImageNetデータセットの最先端の方法よりも、テストの精度と堅牢性の両方で優れている一方で、計算コストを8〜10倍削減することを示しています。 。さらに、提案された敵対的微調整アプローチの非常に重要な利点は、モデルを最初からトレーニングする必要なしに、事前にトレーニングされたディープニューラルネットワークの堅牢性を向上させることができることです。これは、著者の知る限りです。これまで研究文献で実証されたことはありません。
Adversarial Training (AT) with Projected Gradient Descent (PGD) is an effective approach for improving the robustness of the deep neural networks. However, PGD AT has been shown to suffer from two main limitations: i) high computational cost, and ii) extreme overfitting during training that leads to reduction in model generalization. While the effect of factors such as model capacity and scale of training data on adversarial robustness have been extensively studied, little attention has been paid to the effect of a very important parameter in every network optimization on adversarial robustness: the learning rate. In particular, we hypothesize that effective learning rate scheduling during adversarial training can significantly reduce the overfitting issue, to a degree where one does not even need to adversarially train a model from scratch but can instead simply adversarially fine-tune a pre-trained model. Motivated by this hypothesis, we propose a simple yet very effective adversarial fine-tuning approach based on a slow start, fast decay learning rate scheduling strategy which not only significantly decreases computational cost required, but also greatly improves the accuracy and robustness of a deep neural network. Experimental results show that the proposed adversarial fine-tuning approach outperforms the state-of-the-art methods on CIFAR-10, CIFAR-100 and ImageNet datasets in both test accuracy and the robustness, while reducing the computational cost by 8-10×. Furthermore, a very important benefit of the proposed adversarial fine-tuning approach is that it enables the ability to improve the robustness of any pre-trained deep neural network without needing to train the model from scratch, which to the best of the authors' knowledge has not been previously demonstrated in research literature.