小さな敵対的摂動を含む敵対的サンプル (AE) は、ディープ ニューラル ネットワーク (DNN) を誤った予測に導く可能性があります。ある DNN で作成された AE は、別の DNN を騙すこともできます。 AE の転送可能性は、ブラックボックス攻撃を容易にするための重要な特性であるため、ここ数年にわたって大きな注目を集めています。敵対的転送可能性を向上させるために、多くのアプローチが提案されています。ただし、これらは主に、さまざまな畳み込みニューラル ネットワーク (CNN) アーキテクチャにわたって検証されていますが、すべての CNN が同様のアーキテクチャ上のバイアスを共有しているため、信頼できる評価ではありません。この研究では、4 種類のニューラル ネットワークの 18 の人気のあるモデルでテストし、12 の代表的な転送可能性を高める攻撃手法を再評価します。私たちの再評価により、敵対的転送可能性は過大評価されることが多く、すべての人気のあるモデルに転送できる単一の AE は存在しないことが明らかになりました。総合評価により、過去の攻撃方法の継承性ランクが変動します。私たちの分析に基づいて、3 つの評価プロトコルを含む信頼できるベンチマークを提案します。私たちの新しいベンチマークにおける敵対的移転可能性は非常に低く、これは敵対的移転可能性の過大評価をさらに裏付けています。コード、モデルのチェックポイント、評価プロトコルを含む将来の研究を促進するために、https://adv-trans-eval.github.io でベンチマークをリリースします。
Adversarial examples (AEs) with small adversarial perturbations can mislead deep neural networks (DNNs) into wrong predictions. The AEs created on one DNN can also fool another DNN. Over the last few years, the transferability of AEs has garnered significant attention as it is a crucial property for facilitating black-box attacks. Many approaches have been proposed to improve adversarial transferability. However, they are mainly verified across different convolutional neural network (CNN) architectures, which is not a reliable evaluation since all CNNs share some similar architectural biases. In this work, we re-evaluate 12 representative transferability-enhancing attack methods where we test on 18 popular models from 4 types of neural networks. Our reevaluation revealed that the adversarial transferability is often overestimated, and there is no single AE that can be transferred to all popular models. The transferability rank of previous attacking methods changes when under our comprehensive evaluation. Based on our analysis, we propose a reliable benchmark including three evaluation protocols. Adversarial transferability on our new benchmark is extremely low, which further confirms the overestimation of adversarial transferability. We release our benchmark at https://adv-trans-eval.github.io to facilitate future research, which includes code, model checkpoints, and evaluation protocols.