arXiv reaDer
Weight-Covariance Alignment for Adversarially Robust Neural Networks
隠れ層にノイズを注入する確率的ニューラルネットワーク(SNN)は、敵対的な攻撃に対して強力な堅牢性を実現することが最近示されています。ただし、既存のSNNは通常、ヒューリスティックに動機付けられており、多くの場合、計算コストのかかる敵対的なトレーニングに依存しています。敵の訓練に頼ることなく最先端の性能を実現し、確かな理論的正当性を享受する新しいSNNを提案します。具体的には、既存のSNNは学習済みまたは手動で調整された等方性ノイズを注入しますが、SNNは異方性ノイズ分布を学習して、敵対的ロバスト性の学習理論的限界を最適化します。いくつかの一般的なベンチマークでこの方法を評価し、さまざまなアーキテクチャに適用できること、および既存の代替手段と比較して簡単かつ迅速にトレーニングできる一方で、さまざまなホワイトボックスおよびブラックボックス攻撃に対する堅牢性を提供することを示しています。 。
Stochastic Neural Networks (SNNs) that inject noise into their hidden layers have recently been shown to achieve strong robustness against adversarial attacks. However, existing SNNs are usually heuristically motivated, and often rely on adversarial training, which is computationally costly. We propose a new SNN that achieves state-of-the-art performance without relying on adversarial training, and enjoys solid theoretical justification. Specifically, while existing SNNs inject learned or hand-tuned isotropic noise, our SNN learns an anisotropic noise distribution to optimize a learning-theoretic bound on adversarial robustness. We evaluate our method on a number of popular benchmarks, show that it can be applied to different architectures, and that it provides robustness to a variety of white-box and black-box attacks, while being simple and fast to train compared to existing alternatives.
updated: Wed May 26 2021 10:16:14 GMT+0000 (UTC)
published: Sat Oct 17 2020 19:28:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト