ベンチマークに集められた合成破損は、分布シフトに対するニューラルネットワークの堅牢性を測定するために頻繁に使用されます。ただし、合成破損ベンチマークに対する堅牢性は、実際のアプリケーションで発生する分散シフトに対する堅牢性を常に予測できるとは限りません。この論文では、ロバスト性の推定を実際の分布シフトに対するロバスト性とより相関させる合成破損ベンチマークを構築するための方法論を提案します。重複基準を使用して、合成破損をカテゴリに分割し、ニューラルネットワークの堅牢性をよりよく理解するのに役立ちます。これらのカテゴリに基づいて、破損ベンチマークを構築する際に考慮に入れる必要のある3つのパラメータを特定します。表現されたカテゴリの数、カテゴリ間のバランス、ベンチマークのサイズです。提案された方法論を適用して、ImageNet-Syn2Natと呼ばれる新しいベンチマークを構築し、画像分類器の堅牢性を予測します。
Synthetic corruptions gathered into a benchmark are frequently used to measure neural network robustness to distribution shifts. However, robustness to synthetic corruption benchmarks is not always predictive of robustness to distribution shifts encountered in real-world applications. In this paper, we propose a methodology to build synthetic corruption benchmarks that make robustness estimations more correlated with robustness to real-world distribution shifts. Using the overlapping criterion, we split synthetic corruptions into categories that help to better understand neural network robustness. Based on these categories, we identify three parameters that are relevant to take into account when constructing a corruption benchmark: number of represented categories, balance among categories and size of benchmarks. Applying the proposed methodology, we build a new benchmark called ImageNet-Syn2Nat to predict image classifier robustness.