arXiv reaDer
堅牢な学習と生成モデルの適合:プロキシ配布は敵対的な堅牢性を向上させることができますか?
Robust Learning Meets Generative Models: Can Proxy Distributions Improve Adversarial Robustness?
追加のトレーニングデータは、敵対的な例に対するディープニューラルネットワークの堅牢性を向上させますが、多数の特定の実世界のサンプルをキュレートするという課題を提示します。最先端の生成モデルによって学習されたプロキシ配布からの追加データを使用することにより、この課題を回避します。最初に、プロキシ分布でトレーニングされた分類器から実際のデータ分布へのロバスト性の転送を正式に理解しようとします。 2つの分布に対する分類器のロバスト性の違いは、それらの間の条件付きワッサースタイン距離によって上限が定められていることを証明します。私たちの結果に動機付けられて、次に、適切な生成モデルを経験的に選択する方法を尋ねます。 FIDなどの既存の距離メトリックでは、プロキシ分布からのロバスト性の転送を正しく決定できないことがわかりました。敵対的な摂動下での合成サンプルと実際のサンプルの識別可能性を測定する、堅牢な識別アプローチを提案します。私たちのアプローチは、さまざまなプロキシディストリビューションからの堅牢性の転送を正確に予測します。プロキシ分布を選択した後、次の質問はどのサンプルが最も有益かということです。ロバストネス転送における各サンプルの重要性を推定することにより、この選択を最適化することに成功しました。最後に、プロキシ配布と個々のサンプルの選択基準を使用して、CIFAR-10データセットの堅牢なトレーニングのために最も有益な1,000万個の合成サンプルのセットをキュレートします。このセットを使用すると、ℓ_∞およびℓ_2脅威モデルで最大7.5%および6.7%の堅牢な精度が向上し、CIFAR-10データセットでプロキシ分布を使用しないベースラインに対してℓ_2脅威モデルで7.6%の堅牢な精度が証明されます。
While additional training data improves the robustness of deep neural networks against adversarial examples, it presents the challenge of curating a large number of specific real-world samples. We circumvent this challenge by using additional data from proxy distributions learned by state-of-the-art generative models. We first seek to formally understand the transfer of robustness from classifiers trained on proxy distributions to the real data distribution. We prove that the difference between the robustness of a classifier on the two distributions is upper bounded by the conditional Wasserstein distance between them. Motivated by our result, we next ask how to empirically select an appropriate generative model? We find that existing distance metrics, such as FID, fail to correctly determine the robustness transfer from proxy distributions. We propose a robust discrimination approach, which measures the distinguishability of synthetic and real samples under adversarial perturbations. Our approach accurately predicts the robustness transfer from different proxy distributions. After choosing a proxy distribution, the next question is which samples are most beneficial? We successfully optimize this selection by estimating the importance of each sample in robustness transfer. Finally, using our selection criterion for proxy distribution and individual samples, we curate a set of ten million most beneficial synthetic samples for robust training on the CIFAR-10 dataset. Using this set we improve robust accuracy by up to 7.5% and 6.7% in ℓ_∞ and ℓ_2 threat model, and certified robust accuracy by 7.6% in ℓ_2 threat model over baselines not using proxy distributions on the CIFAR-10 dataset.
updated: Mon Sep 27 2021 13:31:10 GMT+0000 (UTC)
published: Mon Apr 19 2021 16:17:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト