敵対的な訓練方法は、敵対的な例に対する最先端の(SOTA)経験的防御方法です。多くの正則化方法は、敵対的な訓練の組み合わせで効果的であることが証明されています。それにもかかわらず、そのような正則化メソッドは時間領域で実装されます。敵対的な脆弱性は高周波現象と見なすことができるため、周波数領域で敵対的に訓練されたニューラルネットワークモデルを規制することが不可欠です。これらの課題に直面して、敵対的な訓練を強化することができるウェーブレットの正則化特性に関する理論的分析を行います。ウェーブレット平均プーリングと呼ばれるハールウェーブレット分解に基づくウェーブレット正則化法を提案します。このウェーブレット正則化モジュールは、新しいWideWaveletResNetモデルが形成されるように、広い残余ニューラルネットワークに統合されています。 CIFAR-10およびCIFAR-100のデータセットで、提案された敵対的ウェーブレットトレーニング方法は、さまざまなタイプの攻撃の下でかなりの堅牢性を実現します。これは、ウェーブレット正則化法が、特に深く広いニューラルネットワークで敵対的なロバスト性を強化できるという仮定を検証します。周波数原理(F-Principle)の可視化実験と解釈可能性は、私たちの方法の有効性を示すために実装されています。さまざまなウェーブレット基底関数に基づく詳細な比較が示されています。コードはリポジトリで入手できます:https://github.com/momo1986/AdversarialWaveletTraining。
Adversarial training methods are state-of-the-art (SOTA) empirical defense methods against adversarial examples. Many regularization methods have been proven to be effective with the combination of adversarial training. Nevertheless, such regularization methods are implemented in the time domain. Since adversarial vulnerability can be regarded as a high-frequency phenomenon, it is essential to regulate the adversarially-trained neural network models in the frequency domain. Faced with these challenges, we make a theoretical analysis on the regularization property of wavelets which can enhance adversarial training. We propose a wavelet regularization method based on the Haar wavelet decomposition which is named Wavelet Average Pooling. This wavelet regularization module is integrated into the wide residual neural network so that a new WideWaveletResNet model is formed. On the datasets of CIFAR-10 and CIFAR-100, our proposed Adversarial Wavelet Training method realizes considerable robustness under different types of attacks. It verifies the assumption that our wavelet regularization method can enhance adversarial robustness especially in the deep wide neural networks. The visualization experiments of the Frequency Principle (F-Principle) and interpretability are implemented to show the effectiveness of our method. A detailed comparison based on different wavelet base functions is presented. The code is available at the repository: https://github.com/momo1986/AdversarialWaveletTraining.