最近、ウォンら。シングルステップ FGSM を使用した敵対的トレーニングは、モデルがマルチステップ攻撃に対して突然脆弱になる、壊滅的なオーバーフィッティング (CO) と呼ばれる特徴的な障害モードにつながることを示しました。彼らは実験的に、FGSM (RS-FGSM) の前にランダムな摂動を追加するだけで CO を防ぐことができることを示しました。しかし、Andriushchenko と Flammarion は、RS-FGSM がより大きな摂動の場合でも CO につながることを観察し、回避するために計算コストの高い正則化 (GradAlign) を提案しました。それ。この作業では、シングルステップの敵対的トレーニングにおけるノイズとクリッピングの役割を体系的に再検討します。以前の直感に反して、クリーンなサンプルの周囲に強いノイズを使用し、クリッピングを行わないことを組み合わせることで、大きな摂動半径の CO を回避するのに非常に効果的であることがわかりました。次に、単一ステップの敵対的トレーニングの利点を提供しながら、CO に悩まされない Noise-FGSM (N-FGSM) を提案します。大規模な一連の実験に関する実証分析は、N-FGSM が3 倍の高速化を達成しながら、以前の最先端の GradAlign のパフォーマンス。コードは https://github.com/pdejorge/N-FGSM にあります。
Recently, Wong et al. showed that adversarial training with single-step FGSM leads to a characteristic failure mode named Catastrophic Overfitting (CO), in which a model becomes suddenly vulnerable to multi-step attacks. Experimentally they showed that simply adding a random perturbation prior to FGSM (RS-FGSM) could prevent CO. However, Andriushchenko and Flammarion observed that RS-FGSM still leads to CO for larger perturbations, and proposed a computationally expensive regularizer (GradAlign) to avoid it. In this work, we methodically revisit the role of noise and clipping in single-step adversarial training. Contrary to previous intuitions, we find that using a stronger noise around the clean sample combined with not clipping is highly effective in avoiding CO for large perturbation radii. We then propose Noise-FGSM (N-FGSM) that, while providing the benefits of single-step adversarial training, does not suffer from CO. Empirical analyses on a large suite of experiments show that N-FGSM is able to match or surpass the performance of previous state-of-the-art GradAlign, while achieving 3x speed-up. Code can be found in https://github.com/pdejorge/N-FGSM