一般的な腐敗に対する堅牢性に関する文献は、敵対的な訓練がこの状況でのパフォーマンスを改善できるかどうかについてのコンセンサスを示していません。まず、適切に選択された摂動半径で使用すると、ℓ_pの敵対的訓練が一般的な破損に対する強力なベースラインとして役立つ可能性があることを示します。次に、一般的な破損の意味のあるベースラインであることが観察されている単純なガウスノイズを使用したデータ拡張よりも、敵対的なトレーニングの方が優れている理由を説明します。これに関連して、ガウス拡張がトレーニングに使用される特定の標準偏差にオーバーフィットする場合のσオーバーフィット現象を特定します。これは、一般的な破損の精度に重大な悪影響を及ぼします。この問題を軽減する方法と、学習した知覚画像パッチの類似性を距離メトリックとして使用して敵対的トレーニングの効率的な緩和を導入することにより、ℓ_p敵対的トレーニングをさらに強化する方法について説明します。 CIFAR-10とImageNet-100での実験を通じて、私たちのアプローチはℓ_pの敵対的なトレーニングのベースラインを改善するだけでなく、AugMix、ANT、SINなどのデータ拡張方法で累積的な利益をもたらし、最新の状態につながることを示しています。一般的な破損に関するアートパフォーマンス。私たちの実験のコードは、https://github.com/tml-epfl/adv-training-corruptionsで公開されています。
The literature on robustness towards common corruptions shows no consensus on whether adversarial training can improve the performance in this setting. First, we show that, when used with an appropriately selected perturbation radius, ℓ_p adversarial training can serve as a strong baseline against common corruptions. Then we explain why adversarial training performs better than data augmentation with simple Gaussian noise which has been observed to be a meaningful baseline on common corruptions. Related to this, we identify the σ-overfitting phenomenon when Gaussian augmentation overfits to a particular standard deviation used for training which has a significant detrimental effect on common corruption accuracy. We discuss how to alleviate this problem and then how to further enhance ℓ_p adversarial training by introducing an efficient relaxation of adversarial training with learned perceptual image patch similarity as the distance metric. Through experiments on CIFAR-10 and ImageNet-100, we show that our approach does not only improve the ℓ_p adversarial training baseline but also has cumulative gains with data augmentation methods such as AugMix, ANT, and SIN leading to state-of-the-art performance on common corruptions. The code of our experiments is publicly available at https://github.com/tml-epfl/adv-training-corruptions.