arXiv reaDer
Adversarial Training for Free!
 ネットワークを敵の例で訓練する敵訓練は、強力な攻撃に耐える敵攻撃に対する数少ない防御策の1つです。残念ながら、強力な敵対的な例を生成するためのコストが高いため、ImageNetのような大規模な問題では、標準的な敵対的なトレーニングは実用的ではありません。モデルパラメーターを更新するときに計算された勾配情報をリサイクルすることにより、敵対的な例を生成するオーバーヘッドコストを排除するアルゴリズムを提示します。 「無料」の敵対トレーニングアルゴリズムは、CIFAR-10およびCIFAR-100データセットのPGD敵対トレーニングに匹敵する堅牢性を、自然なトレーニングと比較してごくわずかな追加コストで達成し、他の強力な敵対トレーニング方法よりも7〜30倍高速です。 4つのP100 GPUと2日間のランタイムを備えた単一のワークステーションを使用して、PGD攻撃に対して40%の精度を維持する大規模なImageNet分類タスク用の堅牢なモデルをトレーニングできます。コードはで入手できます。
Adversarial training, in which a network is trained on adversarial examples, is one of the few defenses against adversarial attacks that withstands strong attacks. Unfortunately, the high cost of generating strong adversarial examples makes standard adversarial training impractical on large-scale problems like ImageNet. We present an algorithm that eliminates the overhead cost of generating adversarial examples by recycling the gradient information computed when updating model parameters. Our "free" adversarial training algorithm achieves comparable robustness to PGD adversarial training on the CIFAR-10 and CIFAR-100 datasets at negligible additional cost compared to natural training, and can be 7 to 30 times faster than other strong adversarial training methods. Using a single workstation with 4 P100 GPUs and 2 days of runtime, we can train a robust model for the large-scale ImageNet classification task that maintains 40% accuracy against PGD attacks. The code is available at
updated: Wed Nov 20 2019 21:26:19 GMT+0000 (UTC)
published: Mon Apr 29 2019 17:50:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト