深部神経ネットワークは、平均的には保持されるが非定型のテストサンプルには保持されない疑似相関を学習する可能性があります。ビジョントランスフォーマー(ViT)モデルの最近の出現と同様に、そのようなアーキテクチャーで疑似相関がどのように現れるかは未だ調査されていません。このホワイトペーパーでは、3つの困難なベンチマークデータセットの疑似相関に対するビジョントランスフォーマーの堅牢性を体系的に調査し、それらのパフォーマンスを一般的なCNNと比較します。私たちの研究は、十分に大きなデータセットで事前トレーニングされた場合、ViTモデルはCNNよりも疑似相関に対してよりロバストであることを明らかにしています。彼らの成功の鍵は、疑似相関が成り立たない例からよりよく一般化する能力です。さらに、スプリアス相関環境下でロバスト性を提供する際の自己注意メカニズムの役割を理解するために、広範なアブレーションと実験を実行します。私たちの仕事が、ViTモデルの堅牢性をさらに理解するための将来の研究に刺激を与えることを願っています。
Deep neural networks may be susceptible to learning spurious correlations that hold on average but not in atypical test samples. As with the recent emergence of vision transformer (ViT) models, it remains underexplored how spurious correlations are manifested in such architectures. In this paper, we systematically investigate the robustness of vision transformers to spurious correlations on three challenging benchmark datasets and compare their performance with popular CNNs. Our study reveals that when pre-trained on a sufficiently large dataset, ViT models are more robust to spurious correlations than CNNs. Key to their success is the ability to generalize better from the examples where spurious correlations do not hold. Further, we perform extensive ablations and experiments to understand the role of the self-attention mechanism in providing robustness under spuriously correlated environments. We hope that our work will inspire future research on further understanding the robustness of ViT models.