現在、ディープニューラルネットワークが敵対的例に対して脆弱であり、敵対的攻撃に対する防御の開発を動機付けていることを示す広範な証拠があります。ただし、既存の敵対的防御は通常、個々の特定の摂動タイプに対するモデルの堅牢性を向上させます。最近のいくつかの方法は、複数のℓ_pボールでの敵対的攻撃に対するモデルの堅牢性を向上させますが、各摂動タイプに対するパフォーマンスはまだ満足のいくものではありません。この現象をよりよく理解するために、さまざまなタイプの敵対的摂動がさまざまなドメインから引き出されることを示す、マルチドメイン仮説を提案します。マルチドメイン仮説に基づいて、複数の摂動タイプに対するロバスト性を向上させるディープニューラルネットワークの新しいビルディングブロックであるゲートバッチ正規化(GBN)を提案します。 GBNは、ゲートサブネットワークとマルチブランチバッチ正規化(BN)レイヤーで構成され、ゲートサブネットワークはさまざまな摂動タイプを分離し、各BNブランチは単一の摂動タイプを担当し、ドメイン固有の統計を学習します。入力変換。次に、異なるブランチのフィーチャが、後続のレイヤーのドメイン不変表現として整列されます。 MNIST、CIFAR-10、およびTiny-ImageNetでのアプローチの広範な評価を実行し、GBNが複数の摂動タイプ(ℓ_1、ℓ_2、およびℓ_∞摂動)に対する以前の防御提案を10〜20の大きなマージンで上回っていることを示します%。
There is now extensive evidence demonstrating that deep neural networks are vulnerable to adversarial examples, motivating the development of defenses against adversarial attacks. However, existing adversarial defenses typically improve model robustness against individual specific perturbation types. Some recent methods improve model robustness against adversarial attacks in multiple ℓ_p balls, but their performance against each perturbation type is still far from satisfactory. To better understand this phenomenon, we propose the multi-domain hypothesis, stating that different types of adversarial perturbations are drawn from different domains. Guided by the multi-domain hypothesis, we propose Gated Batch Normalization (GBN), a novel building block for deep neural networks that improves robustness against multiple perturbation types. GBN consists of a gated sub-network and a multi-branch batch normalization (BN) layer, where the gated sub-network separates different perturbation types, and each BN branch is in charge of a single perturbation type and learns domain-specific statistics for input transformation. Then, features from different branches are aligned as domain-invariant representations for the subsequent layers. We perform extensive evaluations of our approach on MNIST, CIFAR-10, and Tiny-ImageNet, and demonstrate that GBN outperforms previous defense proposals against multiple perturbation types, i.e, ℓ_1, ℓ_2, and ℓ_∞ perturbations, by large margins of 10-20%.