ビジョン トランスフォーマー (ViT) は、畳み込みニューラル ネットワークよりも誘導バイアスが大幅に少ない、根本的に異なるアーキテクチャを備えています。パフォーマンスの向上に加えて、ViT のセキュリティと堅牢性についても研究することが非常に重要です。敵対的な例に対して ViT の堅牢性を利用する最近の多くの研究とは対照的に、この論文では、代表的な原因となる攻撃、つまりバックドアを調査します。最初に、さまざまなバックドア攻撃に対する ViT の脆弱性を調べ、ViT が既存の攻撃に対しても非常に脆弱であることを発見しました。ただし、ViT のクリーン データの精度とバックドア攻撃の成功率は、位置エンコーディング前のパッチ変換に明確に反応することがわかります。次に、この発見に基づいて、ViT がパッチ処理を介してパッチベースおよびブレンドベースの両方のトリガーバックドア攻撃を防御するための効果的な方法を提案します。パフォーマンスは、CIFAR10、GTSRB、TinyImageNet などのいくつかのベンチマーク データセットで評価され、提案された新しい防御が ViT のバックドア攻撃を軽減するのに非常に成功していることを示しています。私たちの知る限りでは、このホワイト ペーパーは、バックドア攻撃に対する ViT の独自の特性を利用した最初の防御戦略を示しています。この論文は、AAAI'23 会議の議事録に掲載されます。この作業は、最初に 2021 年 11 月に CVPR'22 に提出され、その後、ECCV'22 に再提出されました。この論文は 2022 年 6 月に公開されました。著者は、CVPR'22、ECCV'22、および AAAI'23 のプログラム委員会のすべてのレフリーに心から感謝します。
Vision Transformers (ViTs) have a radically different architecture with significantly less inductive bias than Convolutional Neural Networks. Along with the improvement in performance, security and robustness of ViTs are also of great importance to study. In contrast to many recent works that exploit the robustness of ViTs against adversarial examples, this paper investigates a representative causative attack, i.e., backdoor. We first examine the vulnerability of ViTs against various backdoor attacks and find that ViTs are also quite vulnerable to existing attacks. However, we observe that the clean-data accuracy and backdoor attack success rate of ViTs respond distinctively to patch transformations before the positional encoding. Then, based on this finding, we propose an effective method for ViTs to defend both patch-based and blending-based trigger backdoor attacks via patch processing. The performances are evaluated on several benchmark datasets, including CIFAR10, GTSRB, and TinyImageNet, which show the proposed novel defense is very successful in mitigating backdoor attacks for ViTs. To the best of our knowledge, this paper presents the first defensive strategy that utilizes a unique characteristic of ViTs against backdoor attacks. The paper will appear in the Proceedings of the AAAI'23 Conference. This work was initially submitted in November 2021 to CVPR'22, then it was re-submitted to ECCV'22. The paper was made public in June 2022. The authors sincerely thank all the referees from the Program Committees of CVPR'22, ECCV'22, and AAAI'23.