最近の研究では、敵対的な攻撃に対する堅牢性をネットワーク間で転送できることが示されています。言い換えれば、強力な教師モデルの助けを借りて、弱いモデルをより堅牢にすることができます。静的な教師から学ぶ代わりに、モデルが「一緒に学び」、「互いに教え合う」ことで、より優れた堅牢性を実現できるかどうかを尋ねます。この論文では、モデル間の相互作用が知識蒸留を介してロバスト性にどのように影響するかを研究します。複数のモデルを一緒にトレーニングし、敵対的な例の知識を共有して堅牢性を向上させる相互敵対トレーニング(MAT)を提案します。 MATを使用すると、堅牢なモデルで敵対的なサンプルのより広い空間を探索し、より堅牢な特徴空間と決定境界を見つけることができます。 CIFAR-10およびCIFAR-100に関する広範な実験を通じて、MATがモデルの堅牢性を効果的に改善し、ホワイトボックス攻撃の下で最先端の方法を上回り、バニラの敵対的トレーニング(AT)に約8%の精度の向上をもたらすことができることを示します。 PGD-100攻撃下。さらに、MATは、さまざまな摂動タイプ間の堅牢性のトレードオフを軽減し、l_∞、l_2、およびl_1攻撃の結合に対して、ATベースラインに13.1%もの精度の向上をもたらすことができることを示します。これらの結果は、提案された方法の優位性を示し、共学習がロバストなモデルを設計するための効果的な戦略であることを示しています。
Recent studies have shown that robustness to adversarial attacks can be transferred across networks. In other words, we can make a weak model more robust with the help of a strong teacher model. We ask if instead of learning from a static teacher, can models "learn together" and "teach each other" to achieve better robustness? In this paper, we study how interactions among models affect robustness via knowledge distillation. We propose mutual adversarial training (MAT), in which multiple models are trained together and share the knowledge of adversarial examples to achieve improved robustness. MAT allows robust models to explore a larger space of adversarial samples, and find more robust feature spaces and decision boundaries. Through extensive experiments on CIFAR-10 and CIFAR-100, we demonstrate that MAT can effectively improve model robustness and outperform state-of-the-art methods under white-box attacks, bringing ∼8% accuracy gain to vanilla adversarial training (AT) under PGD-100 attacks. In addition, we show that MAT can also mitigate the robustness trade-off among different perturbation types, bringing as much as 13.1% accuracy gain to AT baselines against the union of l_∞, l_2 and l_1 attacks. These results show the superiority of the proposed method and demonstrate that collaborative learning is an effective strategy for designing robust models.