積極的なデータ拡張は、Vision Transformer(ViT)の強力な一般化機能の重要なコンポーネントです。そのようなデータ拡張手法の1つは、敵対的訓練です。しかし、多くの以前の研究は、これがしばしば不十分な洗浄精度をもたらすことを示しました。この作業では、ViTの全体的なパフォーマンスを向上させるためのシンプルで効果的な手法であるピラミッド敵対トレーニングを紹介します。これを「一致した」ドロップアウトと確率的深さの正則化と組み合わせます。これは、クリーンなサンプルと敵対的なサンプルに同じドロップアウトと確率的深さの構成を採用します。 AdvPropによるCNNの改善(ViTには直接適用されません)と同様に、Pyramid Adversarial Trainingは、ViTおよび関連アーキテクチャの配布内の精度と配布外の堅牢性の間のトレードオフを打ち破ります。 ImageNet-1Kデータのみでトレーニングした場合、ViT-BモデルのImageNetクリーン精度が1.82%絶対的に向上すると同時に、7つのImageNet堅牢性メトリックのパフォーマンスが1.76%から11.45%の範囲で絶対値が向上します。 ViT-B / 16バックボーンと私たちのピラミッド敵対訓練。私たちのコードは、承認されると公開されます。
Aggressive data augmentation is a key component of the strong generalization capabilities of Vision Transformer (ViT). One such data augmentation technique is adversarial training; however, many prior works have shown that this often results in poor clean accuracy. In this work, we present Pyramid Adversarial Training, a simple and effective technique to improve ViT's overall performance. We pair it with a "matched" Dropout and stochastic depth regularization, which adopts the same Dropout and stochastic depth configuration for the clean and adversarial samples. Similar to the improvements on CNNs by AdvProp (not directly applicable to ViT), our Pyramid Adversarial Training breaks the trade-off between in-distribution accuracy and out-of-distribution robustness for ViT and related architectures. It leads to 1.82% absolute improvement on ImageNet clean accuracy for the ViT-B model when trained only on ImageNet-1K data, while simultaneously boosting performance on 7 ImageNet robustness metrics, by absolute numbers ranging from 1.76% to 11.45%. We set a new state-of-the-art for ImageNet-C (41.4 mCE), ImageNet-R (53.92%), and ImageNet-Sketch (41.04%) without extra data, using only the ViT-B/16 backbone and our Pyramid Adversarial Training. Our code will be publicly available upon acceptance.