arXiv reaDer
データ拡張は堅牢性を向上させることができます
Data Augmentation Can Improve Robustness
敵対的な訓練は、訓練中に頑強なテストの精度が低下し始める現象である、頑健な過剰適合に悩まされています。このホワイトペーパーでは、一般的なデータ拡張スキームを使用して、ロバストな過剰適合を減らすことに焦点を当てます。以前の調査結果とは異なり、モデルの重みの平均化と組み合わせると、データの拡張によって堅牢な精度が大幅に向上することを示します。さらに、さまざまな拡張手法を比較し、空間構成手法が敵対者のトレーニングに最適であることを確認します。最後に、CIFAR-10でのアプローチを、それぞれサイズϵ = 8/255およびϵ = 128/255のℓ_∞およびℓ_2ノルム有界摂動に対して評価します。以前の最先端の方法と比較して、堅牢な精度で+ 2.93%および+ 2.16%の大幅な絶対的改善を示しています。特に、サイズϵ = 8/255のℓ_∞ノルム境界摂動に対して、モデルは外部データを使用せずに60.07%のロバスト精度に達します。また、CIFAR-100、SVHN、TinyImageNetなどの他のアーキテクチャやデータセットを使用しながら、このアプローチでパフォーマンスを大幅に向上させます。
Adversarial training suffers from robust overfitting, a phenomenon where the robust test accuracy starts to decrease during training. In this paper, we focus on reducing robust overfitting by using common data augmentation schemes. We demonstrate that, contrary to previous findings, when combined with model weight averaging, data augmentation can significantly boost robust accuracy. Furthermore, we compare various augmentations techniques and observe that spatial composition techniques work the best for adversarial training. Finally, we evaluate our approach on CIFAR-10 against ℓ_∞ and ℓ_2 norm-bounded perturbations of size ϵ= 8/255 and ϵ= 128/255, respectively. We show large absolute improvements of +2.93% and +2.16% in robust accuracy compared to previous state-of-the-art methods. In particular, against ℓ_∞ norm-bounded perturbations of size ϵ= 8/255, our model reaches 60.07% robust accuracy without using any external data. We also achieve a significant performance boost with this approach while using other architectures and datasets such as CIFAR-100, SVHN and TinyImageNet.
updated: Tue Nov 09 2021 18:57:00 GMT+0000 (UTC)
published: Tue Nov 09 2021 18:57:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト