arXiv reaDer
Absum: Simple Regularization Method for Reducing Structural Sensitivity of Convolutional Neural Networks
  畳み込みニューラルネットワーク(CNN)の敵対的堅牢性を向上させる正則化手法であるAbsumを提案します。 CNNは画像を正確に認識できますが、最近の研究では、CNNの畳み込み演算は一般に、フーリエ基底関数で構成される特定のノイズに対して構造的な感度があることが示されています。この感度を悪用して、彼らは単純なブラックボックス攻撃を提案しました:単一フーリエ攻撃。構造的な感度を下げるには、線形変換の感度を重みのノルムで評価できるため、畳み込みフィルターの重みの正則化を使用できます。ただし、標準の正則化方法は、高いロバスト性を得るための厳しい制約を課すため、損失関数の最小化を防ぐことができます。この問題を解決するために、Absumは緩やかな制約を課しています。畳み込み層のパラメーターの合計の絶対値にペナルティを科します。 Absumは、単一のフーリエ攻撃に対する堅牢性を向上させると同時に、標準の正則化方法(たとえば、重み減衰およびL1正則化)と同じくらい簡単で効率的です。私たちの実験は、Absumが標準の正則化方法よりも単一のフーリエ攻撃に対する堅牢性を改善することを示しています。さらに、Absumを使用した堅牢なCNNは、標準の正則化方法よりも一般的な感度の低下と高周波ノイズに対する転送された攻撃に対してより堅牢であることを明らかにします。また、Absumは、敵対的トレーニングと併用すると、勾配ベースの攻撃(勾配勾配降下法)に対する堅牢性を向上できることも明らかにしました。
We propose Absum, which is a regularization method for improving adversarial robustness of convolutional neural networks (CNNs). Although CNNs can accurately recognize images, recent studies have shown that the convolution operations in CNNs commonly have structural sensitivity to specific noise composed of Fourier basis functions. By exploiting this sensitivity, they proposed a simple black-box adversarial attack: Single Fourier attack. To reduce structural sensitivity, we can use regularization of convolution filter weights since the sensitivity of linear transform can be assessed by the norm of the weights. However, standard regularization methods can prevent minimization of the loss function because they impose a tight constraint for obtaining high robustness. To solve this problem, Absum imposes a loose constraint; it penalizes the absolute values of the summation of the parameters in the convolution layers. Absum can improve robustness against single Fourier attack while being as simple and efficient as standard regularization methods (e.g., weight decay and L1 regularization). Our experiments demonstrate that Absum improves robustness against single Fourier attack more than standard regularization methods. Furthermore, we reveal that robust CNNs with Absum are more robust against transferred attacks due to decreasing the common sensitivity and against high-frequency noise than standard regularization methods. We also reveal that Absum can improve robustness against gradient-based attacks (projected gradient descent) when used with adversarial training.
updated: Thu Sep 19 2019 07:05:14 GMT+0000 (UTC)
published: Thu Sep 19 2019 07:05:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト