ベンチマークに集められた合成破損は、分布シフトに対するニューラルネットワークの堅牢性を測定するために頻繁に使用されます。ただし、合成破損ベンチマークに対する堅牢性は、実際のアプリケーションで発生する分散シフトに対する堅牢性を常に予測できるとは限りません。この論文では、ロバスト性の推定を実際の分布シフトに対するロバスト性とより相関させる合成破損ベンチマークを構築するための方法論を提案します。重複基準を使用して、合成破損をカテゴリに分割し、ニューラルネットワークの堅牢性をよりよく理解するのに役立ちます。これらのカテゴリに基づいて、破損ベンチマークを構築する際に考慮すべき3つの関連パラメータを特定します。これらは、(1)表示されるカテゴリの数、(2)サイズに関する相対的なバランス、(3)考慮されるサイズです。基準。そうすることで、既存の合成破損ベンチマークよりも自然破損に対する堅牢性をより予測する新しい合成破損の選択を構築します。
Synthetic corruptions gathered into a benchmark are frequently used to measure neural network robustness to distribution shifts. However, robustness to synthetic corruption benchmarks is not always predictive of robustness to distribution shifts encountered in real-world applications. In this paper, we propose a methodology to build synthetic corruption benchmarks that make robustness estimations more correlated with robustness to real-world distribution shifts. Using the overlapping criterion, we split synthetic corruptions into categories that help to better understand neural network robustness. Based on these categories, we identify three relevant parameters to take into account when constructing a corruption benchmark that are the (1) number of represented categories, (2) their relative balance in terms of size and, (3) the size of the considered benchmark. In doing so, we build new synthetic corruption selections that are more predictive of robustness to natural corruptions than existing synthetic corruption benchmarks.