このホワイトペーパーでは、ディープラーニング(DL)分類器の堅牢性のベンチマークに関する基本的な作業を追加します。 DL分類器の堅牢性を評価するための新しいベンチマーク手法を革新します。また、DL分類器の堅牢性をベンチマークするために、最小精度、最大精度、平均精度、変動係数を含む新しい4象限統計視覚化ツールを紹介します。堅牢なDL分類器を測定するために、クリーンセット、単一因子摂動のセット、および2因子摂動条件のセットを含む包括的な69ベンチマーク画像セットを作成しました。実験結果を収集した後、最初に、2要素摂動画像を使用するとDL分類器の堅牢性と精度の両方が向上することを報告します。 2因子摂動には、(1)両方のシーケンスに適用される2つのデジタル摂動(ソルト&ペッパーノイズとガウスノイズ)、および(2)両方のシーケンスに適用される1つのデジタル摂動(ソルト&ペッパーノイズ)と幾何学的摂動(回転)が含まれます。 。すべてのソースコード、関連する画像セット、および予備データ、数値は、GitHub Webサイトで共有され、将来の学術研究および業界プロジェクトをサポートします。 Webリソースはhttps://github.com/caperock/robustaiにあります
This paper adds to the fundamental body of work on benchmarking the robustness of deep learning (DL) classifiers. We innovate a new benchmarking methodology to evaluate robustness of DL classifiers. Also, we introduce a new four-quadrant statistical visualization tool, including minimum accuracy, maximum accuracy, mean accuracy, and coefficient of variation, for benchmarking robustness of DL classifiers. To measure robust DL classifiers, we created a comprehensive 69 benchmarking image set, including a clean set, sets with single factor perturbations, and sets with two-factor perturbation conditions. After collecting experimental results, we first report that using two-factor perturbed images improves both robustness and accuracy of DL classifiers. The two-factor perturbation includes (1) two digital perturbations (salt & pepper noise and Gaussian noise) applied in both sequences, and (2) one digital perturbation (salt & pepper noise) and a geometric perturbation (rotation) applied in both sequences. All source codes, related image sets, and preliminary data, figures are shared on a GitHub website to support future academic research and industry projects. The web resources locate at https://github.com/caperock/robustai