ビジョントランスフォーマー(ViT)は、一連のコンピュータービジョンタスクで優れたパフォーマンスを発揮しましたが、それでも敵対的な例に悩まされています。 %CNNと同様の方法で作成されました。この論文では、高い転送可能性を実現するために、変圧器への敵対的攻撃は、パッチと自己注意の両方を共同で考慮して、そのアーキテクチャに合わせて特別に調整する必要があると考えています。具体的には、Pay No Attention(PNA)攻撃とPatchOut攻撃を含むデュアル攻撃フレームワークを導入して、さまざまなViT間での敵対的なサンプルの転送可能性を向上させます。バックプロパゲーション中に注意の勾配をスキップすると、高い転送可能性を持つ敵対的な例が生成される可能性があることを示します。さらに、各反復でランダムにサンプリングされたパッチのサブセットを最適化することによって生成される敵対的な摂動は、すべてのパッチを使用する攻撃よりも高い攻撃成功率を達成します。最先端のViT、CNN、および堅牢にトレーニングされたCNNに対する攻撃の転送可能性を評価します。これらの実験の結果は、提案されたデュアルアタックがViT間およびViTからCNNへの転送可能性を大幅に向上させることができることを示しています。さらに、提案された方法は、パフォーマンスを向上させるために既存の転送方法と簡単に組み合わせることができます。コードはhttps://github.com/zhipeng-wei/PNA-PatchOutで入手できます。
Vision transformers (ViTs) have demonstrated impressive performance on a series of computer vision tasks, yet they still suffer from adversarial examples. % crafted in a similar fashion as CNNs. In this paper, we posit that adversarial attacks on transformers should be specially tailored for their architecture, jointly considering both patches and self-attention, in order to achieve high transferability. More specifically, we introduce a dual attack framework, which contains a Pay No Attention (PNA) attack and a PatchOut attack, to improve the transferability of adversarial samples across different ViTs. We show that skipping the gradients of attention during backpropagation can generate adversarial examples with high transferability. In addition, adversarial perturbations generated by optimizing randomly sampled subsets of patches at each iteration achieve higher attack success rates than attacks using all patches. We evaluate the transferability of attacks on state-of-the-art ViTs, CNNs and robustly trained CNNs. The results of these experiments demonstrate that the proposed dual attack can greatly boost transferability between ViTs and from ViTs to CNNs. In addition, the proposed method can easily be combined with existing transfer methods to boost performance. Code is available at https://github.com/zhipeng-wei/PNA-PatchOut.