DL分類器の精度は不安定であり、敵対的な画像、不完全な画像、または摂動された画像で再テストすると、大幅に変化することがよくあります。このホワイトペーパーでは、欠陥のある画像に対するDL分類器の堅牢性のベンチマークに関する、小さいながらも基本的な一連の作業を追加します。既存の単一要素デジタル摂動作業とは異なり、異なるシーケンスで適用された画像に2つの自然摂動を提供する最先端の2要素摂動を提供します。 2因子摂動には、(1)両方のシーケンスに適用される2つのデジタル摂動(ソルト&ペッパーノイズとガウスノイズ)が含まれます。 (2)1つのデジタル摂動(ソルト&ペッパーノイズ)と幾何学的摂動(回転)が異なるシーケンスで適用されます。堅牢なDL分類子を測定するために、以前の科学者は15種類の単一因子の破損を提供しました。クリーンセット、単一因子摂動のセット、および2因子摂動条件のセットを含む69のベンチマーク画像セットを作成しました。私たちの知る限りでは、これは2要素摂動画像がDL分類器の堅牢性と精度の両方を向上させるという最初のレポートです。ディープラーニング(DL)分類器を評価する以前の研究では、トップ1 /トップ5の精度がよく使用されていたため、研究者は通常、DL分類器の精度を表示するために表、線図、棒グラフを提供していました。しかし、これらの既存のアプローチでは、DL分類器の堅牢性を定量的に評価することはできません。 DL分類器の堅牢性をベンチマークするために、平均精度と変動係数(CV)を含む新しい2次元の統計的視覚化ツールを革新します。すべてのソースコードと関連する画像セットは、ウェブサイト(http://cslinux.semo.edu/david/data.htmlまたはhttps://github.com/daiweiworking/RobustDeepLearningUsingPerturbations)で共有され、将来の学術研究や業界プロジェクトをサポートします。
The accuracy of DL classifiers is unstable in that it often changes significantly when retested on adversarial images, imperfect images, or perturbed images. This paper adds to the small but fundamental body of work on benchmarking the robustness of DL classifiers on defective images. Unlike existed single-factor digital perturbation work, we provide state-of-the-art two-factor perturbation that provides two natural perturbations on images applied in different sequences. The two-factor perturbation includes (1) two digital perturbations (Salt & pepper noise and Gaussian noise) applied in both sequences. (2) one digital perturbation (salt & pepper noise) and a geometric perturbation (rotation) applied in different sequences. To measure robust DL classifiers, previous scientists provided 15 types of single-factor corruption. We created 69 benchmarking image sets, including a clean set, sets with single factor perturbations, and sets with two-factor perturbation conditions. To be best of our knowledge, this is the first report that two-factor perturbed images improves both robustness and accuracy of DL classifiers. Previous research evaluating deep learning (DL) classifiers has often used top-1/top-5 accuracy, so researchers have usually offered tables, line diagrams, and bar charts to display accuracy of DL classifiers. But these existed approaches cannot quantitively evaluate robustness of DL classifiers. We innovate a new two-dimensional, statistical visualization tool, including mean accuracy and coefficient of variation (CV), to benchmark the robustness of DL classifiers. All source codes and related image sets are shared on websites (http://cslinux.semo.edu/david/data.html or https://github.com/daiweiworking/RobustDeepLearningUsingPerturbations ) to support future academic research and industry projects.