arXiv reaDer
2要素摂動を使用した深層学習分類器のロバスト性のベンチマーク
Benchmarking Robustness of Deep Learning Classifiers Using Two-Factor Perturbation
深層学習(DL)分類器の精度は、敵対的な画像、不完全な画像、または摂動された画像で再テストすると大幅に変化する可能性があるという点で不安定なことがよくあります。このホワイトペーパーでは、欠陥のある画像に対するDL分類器の堅牢性のベンチマークに関する基本的な作業を追加します。堅牢なDL分類子を測定するために、以前の調査では単一要素の破損が報告されています。クリーンセット、単一要素摂動のセット、および2要素摂動条件のセットを含む包括的な69のベンチマーク画像セットを作成しました。最先端の2因子摂動には、(a)両方のシーケンスに適用される2つのデジタル摂動(ソルト&ペッパーノイズとガウスノイズ)、および(b)1つのデジタル摂動(ソルト&ペッパーノイズ)と幾何学的摂動が含まれます。 (回転)両方のシーケンスに適用されます。 DL分類器を評価する以前の研究では、多くの場合、上位1 /上位5の精度が使用されていました。 DL分類器のロバスト性を評価するために、新しい2次元の統計行列を革新します。また、DL分類器の堅牢性をベンチマークするために、最小精度、最大精度、平均精度、変動係数(CV)などの新しい視覚化ツールを紹介します。単一要素の破損と比較して、最初に、2要素の摂動画像を使用するとDL分類器の堅牢性と精度の両方が向上することを報告します。すべてのソースコードと関連する画像セットは、Webサイトhttp://cslinux.semo.edu/david/dataで共有され、将来の学術研究と業界プロジェクトをサポートします。
Accuracies of deep learning (DL) classifiers are often unstable in that they may change significantly when retested on adversarial images, imperfect images, or perturbed images. This paper adds to the fundamental body of work on benchmarking the robustness of DL classifiers on defective images. To measure robust DL classifiers, previous research reported on single-factor corruption. We created comprehensive 69 benchmarking image sets, including a clean set, sets with single factor perturbations, and sets with two-factor perturbation conditions. The state-of-the-art two-factor perturbation includes (a) two digital perturbations (salt & pepper noise and Gaussian noise) applied in both sequences, and (b) one digital perturbation (salt & pepper noise) and a geometric perturbation (rotation) applied in both sequences. Previous research evaluating DL classifiers has often used top-1/top-5 accuracy. We innovate a new two-dimensional, statistical matrix to evaluating robustness of DL classifiers. Also, we introduce a new visualization tool, including minimum accuracy, maximum accuracy, mean accuracies, and coefficient of variation (CV), for benchmarking robustness of DL classifiers. Comparing with single factor corruption, we first report that using two-factor perturbed images improves both robustness and accuracy of DL classifiers. All source codes and related image sets are shared on the Website at http://cslinux.semo.edu/david/data to support future academic research and industry projects.
updated: Wed Mar 02 2022 03:53:21 GMT+0000 (UTC)
published: Wed Mar 02 2022 03:53:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト