最近の研究により、トレーニングモデルが敵対的摂動に対して不変であるという興味深い(やや驚くべき)発見が、標準分類に必要なデータセットよりもかなり大きなデータセットを必要とすることが明らかになりました。この結果は、ラベル付きデータが高価な多くの実世界のアプリケーションで堅牢な機械学習モデルを展開する上で重要なハードルです。私たちの主な洞察は、ラベル付けされていないデータが、敵対的に堅牢なモデルをトレーニングするためのラベル付けされたデータの競争力のある代替手段になり得るということです。理論的には、単純な統計設定で、ラベル付けされていないデータから敵対的に堅牢なモデルを学習するためのサンプルの複雑さが、定数因子までの完全に監視されたケースと一致することを示します。 CIFAR-10のような標準データセットでは、ラベルなしデータを使用する単純な教師なし敵対訓練(UAT)アプローチにより、4K教師あり例を単独で使用する場合よりも堅牢な精度が21.7%向上し、同じ数のラベル付き例から95%以上の改善が得られます。最後に、未処理の80百万Tiny Imagesデータセットからの追加のラベルなしデータを使用することにより、最も強力な既知の攻撃に対して、CIFAR-10の以前の最新技術より4%の改善を報告します。これは、ラベル付けされていないデータもキュレートされていない、より現実的なケースに我々の発見が拡張され、したがって、敵対訓練を改善するための新しい道を開くことを示しています。
Recent work has uncovered the interesting (and somewhat surprising) finding that training models to be invariant to adversarial perturbations requires substantially larger datasets than those required for standard classification. This result is a key hurdle in the deployment of robust machine learning models in many real world applications where labeled data is expensive. Our main insight is that unlabeled data can be a competitive alternative to labeled data for training adversarially robust models. Theoretically, we show that in a simple statistical setting, the sample complexity for learning an adversarially robust model from unlabeled data matches the fully supervised case up to constant factors. On standard datasets like CIFAR-10, a simple Unsupervised Adversarial Training (UAT) approach using unlabeled data improves robust accuracy by 21.7% over using 4K supervised examples alone, and captures over 95% of the improvement from the same number of labeled examples. Finally, we report an improvement of 4% over the previous state-of-the-art on CIFAR-10 against the strongest known attack by using additional unlabeled data from the uncurated 80 Million Tiny Images dataset. This demonstrates that our finding extends as well to the more realistic case where unlabeled data is also uncurated, therefore opening a new avenue for improving adversarial training.