arXiv reaDer
Fixing Data Augmentation to Improve Adversarial Robustness
敵対的訓練は、訓練中に頑強なテスト精度が低下し始める現象である、頑健な過剰適合に悩まされています。このホワイトペーパーでは、堅牢な過剰適合を減らす手段として、ヒューリスティック駆動型とデータ駆動型の両方の拡張に焦点を当てます。まず、以前の調査結果とは異なり、モデルの重みの平均化と組み合わせると、データの拡張によって堅牢な精度が大幅に向上することを示します。次に、最先端の生成モデルを活用して、トレーニングセットのサイズを人為的に増やし、敵対者の堅牢性をさらに向上させる方法を探ります。最後に、CIFAR-10でのアプローチを、サイズϵ = 8/255およびϵ = 128/255のℓ_∞およびℓ_2ノルム境界摂動に対してそれぞれ評価します。以前の最先端の方法と比較して、堅牢な精度で+ 7.06%と+ 5.88%の大幅な絶対的な改善を示しています。特に、サイズϵ = 8/255のℓ_∞ノルム境界摂動に対して、モデルは外部データを使用せずに64.20%のロバスト精度に達し、外部データを使用する以前のほとんどの作業を上回っています。
Adversarial training suffers from robust overfitting, a phenomenon where the robust test accuracy starts to decrease during training. In this paper, we focus on both heuristics-driven and data-driven augmentations as a means to reduce robust overfitting. First, we demonstrate that, contrary to previous findings, when combined with model weight averaging, data augmentation can significantly boost robust accuracy. Second, we explore how state-of-the-art generative models can be leveraged to artificially increase the size of the training set and further improve adversarial robustness. Finally, we evaluate our approach on CIFAR-10 against ℓ_∞ and ℓ_2 norm-bounded perturbations of size ϵ= 8/255 and ϵ= 128/255, respectively. We show large absolute improvements of +7.06% and +5.88% in robust accuracy compared to previous state-of-the-art methods. In particular, against ℓ_∞ norm-bounded perturbations of size ϵ= 8/255, our model reaches 64.20% robust accuracy without using any external data, beating most prior works that use external data.
updated: Mon Oct 18 2021 16:55:50 GMT+0000 (UTC)
published: Tue Mar 02 2021 18:58:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト