arXiv reaDer
対照的な敵対的訓練における認知的不協和緩和によるロバスト性
Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training
この論文では、対照学習(CL)と敵対的トレーニング(AT)を組み合わせることにより、高いクリーン精度を維持しながら、敵対的攻撃に対するモデルの敵対的ロバスト性を高める新しいニューラルネットワークトレーニングフレームワークを紹介します。データ拡張と敵対的摂動の両方で一貫性のある特徴表現を学習することにより、敵対的攻撃に対するモデルの堅牢性を向上させることを提案します。対照学習を活用して、敵対的な例を別の肯定的な例と見なすことにより、敵対的な堅牢性を向上させ、データサンプルのランダムな拡張とその敵対的な例との類似性を最大化すると同時に、分類ヘッドを常に更新して、分類ヘッドと埋め込みスペース。この分離は、CLがネットワークを埋め込みスペースまで更新する一方で、新しいポジティブな敵対的な例を生成するために使用される分類ヘッドをフリーズするという事実によって引き起こされます。 CIFAR-10データセットで、私たちの方法である敵対的特徴を使用した対照学習(CLAF)を検証します。このデータセットでは、代替の教師ありおよび自己教師ありの敵対的学習方法よりも堅牢な精度とクリーンな精度の両方を上回っています。
In this paper, we introduce a novel neural network training framework that increases model's adversarial robustness to adversarial attacks while maintaining high clean accuracy by combining contrastive learning (CL) with adversarial training (AT). We propose to improve model robustness to adversarial attacks by learning feature representations that are consistent under both data augmentations and adversarial perturbations. We leverage contrastive learning to improve adversarial robustness by considering an adversarial example as another positive example, and aim to maximize the similarity between random augmentations of data samples and their adversarial example, while constantly updating the classification head in order to avoid a cognitive dissociation between the classification head and the embedding space. This dissociation is caused by the fact that CL updates the network up to the embedding space, while freezing the classification head which is used to generate new positive adversarial examples. We validate our method, Contrastive Learning with Adversarial Features(CLAF), on the CIFAR-10 dataset on which it outperforms both robust accuracy and clean accuracy over alternative supervised and self-supervised adversarial learning methods.
updated: Wed Mar 16 2022 21:41:27 GMT+0000 (UTC)
published: Wed Mar 16 2022 21:41:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト