arXiv reaDer
Rethinking the Design Principles of Robust Vision Transformer
ビジョントランスフォーマー(ViT)の最近の進歩は、長距離依存性モデリング機能を利用する自己注意ベースのネットワークが、ほとんどのビジョンタスクで従来の畳み込みニューラルネットワーク(CNN)を上回っていることを示しています。コンピュータビジョンへの適用性をさらに拡大するために、CNNの優位性、つまり局所性、並進不変性を考慮してTransformerアーキテクチャを再設計し、パフォーマンスを向上させるために、多くの改良されたバリアントが提案されています。ただし、これらの方法では、モデルの標準精度または計算コストのみが考慮されます。この論文では、ロバスト性に基づいてViTの設計原理を再考します。一部の設計コンポーネントはViTの堅牢性と一般化能力を大きく損なう一方で、他のコンポーネントは有益であることがわかりました。堅牢な設計コンポーネントを組み合わせることにより、Robust Vision Transformer(RVT)を提案します。 RVTは、優れた性能と強力な堅牢性を備えた新しいビジョントランスです。さらに、RVTをトレーニングするために、位置認識注意の再スケーリングとパッチごとの拡張と呼ばれる2つの新しいプラグアンドプレイ手法を提案します。 ImageNetと6つのロバストネスベンチマークの実験結果は、以前のトランスフォーマーや最先端のCNNと比較して、RVTの高度なロバスト性と一般化能力を示しています。当社のRVT-S *は、ImageNet-CやImageNet-Sketchを含む複数の堅牢性リーダーボードでもトップ1ランクを達成しています。コードはで入手できます。
Recent advances on Vision Transformers (ViT) have shown that self-attention-based networks, which take advantage of long-range dependencies modeling ability, surpassed traditional convolution neural networks (CNNs) in most vision tasks. To further expand the applicability for computer vision, many improved variants are proposed to re-design the Transformer architecture by considering the superiority of CNNs, i.e., locality, translation invariance, for better performance. However, these methods only consider the standard accuracy or computation cost of the model. In this paper, we rethink the design principles of ViTs based on the robustness. We found some design components greatly harm the robustness and generalization ability of ViTs while some others are beneficial. By combining the robust design components, we propose Robust Vision Transformer (RVT). RVT is a new vision transformer, which has superior performance and strong robustness. We further propose two new plug-and-play techniques called position-aware attention rescaling and patch-wise augmentation to train our RVT. The experimental results on ImageNet and six robustness benchmarks show the advanced robustness and generalization ability of RVT compared with previous Transformers and state-of-the-art CNNs. Our RVT-S* also achieves Top-1 rank on multiple robustness leaderboards including ImageNet-C and ImageNet-Sketch. The code will be available at
updated: Sun May 23 2021 15:02:55 GMT+0000 (UTC)
published: Mon May 17 2021 15:04:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト