ImageNet の敵対的トレーニングの再検討: 脅威モデル全体のアーキテクチャ、トレーニング、および一般化
Revisiting Adversarial Training for ImageNet: Architectures, Training and Generalization across Threat Models
敵対的トレーニングは、ResNet アーキテクチャと CIFAR などの低解像度データセットについて広く研究されてきましたが、ImageNet についてはあまり知られていません。トランスフォーマーが convnet よりも堅牢であるかどうかについての最近の議論を考慮して、ViT と ConvNeXt を比較する ImageNet での敵対的トレーニングを再検討します。広範な実験により、アーキテクチャの小さな変更、特に PatchStem を ConvStem に置き換えること、およびトレーニング スキームが、達成された堅牢性に大きな影響を与えることが示されています。これらの変更は、目に見える ℓ_∞ 脅威モデルのロバスト性を高めるだけでなく、目に見えない ℓ_1/ℓ_2 のロバスト性への一般化をさらに改善します。修正された ConvNeXt である ConvNeXt + ConvStem は、モデル パラメーターと FLOP のさまざまな範囲で最も堅牢なモデルを生成します。
While adversarial training has been extensively studied for ResNet architectures and low resolution datasets like CIFAR, much less is known for ImageNet. Given the recent debate about whether transformers are more robust than convnets, we revisit adversarial training on ImageNet comparing ViTs and ConvNeXts. Extensive experiments show that minor changes in architecture, most notably replacing PatchStem with ConvStem, and training scheme have a significant impact on the achieved robustness. These changes not only increase robustness in the seen ℓ_∞-threat model, but even more so improve generalization to unseen ℓ_1/ℓ_2-robustness. Our modified ConvNeXt, ConvNeXt + ConvStem, yields the most robust models across different ranges of model parameters and FLOPs.
updated: Fri Mar 03 2023 11:53:01 GMT+0000 (UTC)
published: Fri Mar 03 2023 11:53:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト