最近、FGSMの敵対的訓練は、PGDによって訓練されたモデルに匹敵するが、桁違いに高速な堅牢なモデルを訓練できることがわかりました。ただし、壊滅的過剰適合(CO)と呼ばれる障害モードがあり、分類器はトレーニング中に突然その堅牢性を失い、それ自体ではほとんど回復しません。この論文では、COはFGSMだけでなく、DF ^∞-1の敵対訓練でも発生することがわかりました。次に、FGSMとDF ^∞-1の両方の幾何学的特性を分析し、CO後の決定境界がまったく異なることを確認します。FGSMの場合、摂動の方向に沿って新しい決定境界が生成され、小さな摂動が大きいもの。 DF ^∞-1の場合、摂動の方向に沿って生成される新しい決定境界はありませんが、代わりに、DF ^∞-1によって生成される摂動はCOの後で小さくなり、そのためその有効性が失われます。また、COを引き起こす可能性のある要因に関する3つの仮説を実験的に分析します。次に、経験的分析に基づいて、摂動をl_∞ボールに投影しないことによってRS-FGSMを変更します。この小さな変更により、RS-FGSMによる43.57±0.30%とは対照的に、CIFAR10で47.56±0.37%PGD-50-10の精度を達成し、ϵの動作範囲を8/255からさらに拡張することができました。 COが発生せずにCIFAR10で11/255に。
Recently, FGSM adversarial training is found to be able to train a robust model which is comparable to the one trained by PGD but an order of magnitude faster. However, there is a failure mode called catastrophic overfitting (CO) that the classifier loses its robustness suddenly during the training and hardly recovers by itself. In this paper, we find CO is not only limited to FGSM, but also happens in DF^∞-1 adversarial training. Then, we analyze the geometric properties for both FGSM and DF^∞-1 and find they have totally different decision boundaries after CO. For FGSM, a new decision boundary is generated along the direction of perturbation and makes the small perturbation more effective than the large one. While for DF^∞-1, there is no new decision boundary generated along the direction of perturbation, instead the perturbation generated by DF^∞-1 becomes smaller after CO and thus loses its effectiveness. We also experimentally analyze three hypotheses on potential factors causing CO. And then based on the empirical analysis, we modify the RS-FGSM by not projecting perturbation back to the l_∞ ball. By this small modification, we could achieve 47.56 ±0.37% PGD-50-10 accuracy on CIFAR10 with ϵ=8/255 in contrast to 43.57 ±0.30% by RS-FGSM and also further extend the working range of ϵ from 8/255 to 11/255 on CIFAR10 without CO occurring.