ディープニューラルネットワーク(DNN)の採用率は近年大幅に増加していますが、敵対的な例に対する脆弱性の解決策はまだ見つかっていません。その結果、この弱点を修正するために多大な研究努力が注がれ、多くの研究では通常、ソース画像のサブセットを使用して敵対的な例を生成し、このサブセット内のすべての画像を同等として扱います。実際、すべてのソース画像がこの種の評価に等しく適しているわけではないことを示しています。そのために、大規模なモデル間転送可能性シナリオを考案します。このシナリオでは、最も頻繁に展開される3つの攻撃を利用して、ImageNetのすべての適切なソースイメージから生成された敵対的な例のプロパティを綿密に分析します。最近提案されたビジョントランスフォーマーを含む7つの異なるDNNモデルを含むこの転送可能性シナリオでは、モデル間の転送可能性の成功で最大12.5%、平均L_2摂動で1.01、および1,000個のソース画像がすべての適切な候補の間でランダムにサンプリングされた場合の平均L_∞摂動の0.03(8/225)。次に、敵対的な例を作成するために使用される画像の堅牢性を評価する最初のステップの1つを実行し、不適切なソース画像を特定するためのシンプルで効果的な方法をいくつか提案します。これにより、実験の極端なケースを軽減し、高品質のベンチマークをサポートできます。 。
Although the adoption rate of deep neural networks (DNNs) has tremendously increased in recent years, a solution for their vulnerability against adversarial examples has not yet been found. As a result, substantial research efforts are dedicated to fix this weakness, with many studies typically using a subset of source images to generate adversarial examples, treating every image in this subset as equal. We demonstrate that, in fact, not every source image is equally suited for this kind of assessment. To do so, we devise a large-scale model-to-model transferability scenario for which we meticulously analyze the properties of adversarial examples, generated from every suitable source image in ImageNet by making use of three of the most frequently deployed attacks. In this transferability scenario, which involves seven distinct DNN models, including the recently proposed vision transformers, we reveal that it is possible to have a difference of up to 12.5% in model-to-model transferability success, 1.01 in average L_2 perturbation, and 0.03 (8/225) in average L_∞ perturbation when 1,000 source images are sampled randomly among all suitable candidates. We then take one of the first steps in evaluating the robustness of images used to create adversarial examples, proposing a number of simple but effective methods to identify unsuitable source images, thus making it possible to mitigate extreme cases in experimentation and support high-quality benchmarking.