arXiv reaDer
Unlabeled Data Improves Adversarial Robustness
 理論的および経験的に、敵対的堅牢性が半教師あり学習から大きな利益を得ることができることを実証します。理論的には、Schmidtらの単純なガウスモデルを再検討します。これは、標準分類と堅牢な分類のサンプルの複雑さのギャップを示しています。ラベルのないデータがこのギャップを埋めることを証明します:単純な半教師付き学習手順(自己学習)は、高い標準精度を達成するために必要な同じ数のラベルを使用して高いロバスト精度を実現します。経験的に、8000万のTiny Imagesから取得した500Kのラベルなしの画像でCIFAR-10を増強し、堅牢な自己訓練を使用して、(i)attacks_∞のいくつかの強力な攻撃に対する堅牢性で5ポイント以上最新の堅牢な精度を上回る敵対的訓練と(ii)ランダム化された平滑化によるcertified_2およびand_∞の堅牢性の認定SVHNでは、ラベルを削除してデータセットの独自のトレーニングセットを追加すると、追加のラベルを使用した場合のゲインの1ポイント以内で、4〜10ポイントのゲインが得られます。
We demonstrate, theoretically and empirically, that adversarial robustness can significantly benefit from semisupervised learning. Theoretically, we revisit the simple Gaussian model of Schmidt et al. that shows a sample complexity gap between standard and robust classification. We prove that unlabeled data bridges this gap: a simple semisupervised learning procedure (self-training) achieves high robust accuracy using the same number of labels required for achieving high standard accuracy. Empirically, we augment CIFAR-10 with 500K unlabeled images sourced from 80 Million Tiny Images and use robust self-training to outperform state-of-the-art robust accuracies by over 5 points in (i) ℓ_∞ robustness against several strong attacks via adversarial training and (ii) certified ℓ_2 and ℓ_∞ robustness via randomized smoothing. On SVHN, adding the dataset's own extra training set with the labels removed provides gains of 4 to 10 points, within 1 point of the gain from using the extra labels.
updated: Wed Dec 04 2019 00:17:16 GMT+0000 (UTC)
published: Fri May 31 2019 17:41:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト