偶然に決定されない系統的エラーは、多くの場合、システムに固有の不正確さ(観察または測定プロセスのいずれかを含む)を指します。この論文では、系統的エラーによって引き起こされた、長い間無視されていたが頻繁に発生する敵対的な例をいくつか示します。より具体的には、訓練されたニューラルネットワーク分類器は、画像のデコードとサイズ変更の一貫性のない実装によってだまされる可能性があることがわかります。これらの実装間のこの小さな違いにより、トレーニングから展開までの精度が低下することがよくあります。これらの現実世界の敵対的な例をベンチマークするために、研究者が系統的エラーに対する分類器のロバスト性を測定できるようにするImageNet-Sデータセットを提案します。たとえば、ImageNetでトレーニングされた通常のResNet-50は、系統的エラーのために1%〜5%の精度の違いがあることがわかります。私たちの評価とデータセットを一緒にすると、現実世界の堅牢性と実用的な一般化に向けた将来の作業に役立つ可能性があります。
Systematic error, which is not determined by chance, often refers to the inaccuracy (involving either the observation or measurement process) inherent to a system. In this paper, we exhibit some long-neglected but frequent-happening adversarial examples caused by systematic error. More specifically, we find the trained neural network classifier can be fooled by inconsistent implementations of image decoding and resize. This tiny difference between these implementations often causes an accuracy drop from training to deployment. To benchmark these real-world adversarial examples, we propose ImageNet-S dataset, which enables researchers to measure a classifier's robustness to systematic error. For example, we find a normal ResNet-50 trained on ImageNet can have 1%-5% accuracy difference due to the systematic error. Together our evaluation and dataset may aid future work toward real-world robustness and practical generalization.