arXiv reaDer
ミニバッチでの敵対的サンプルの生成は、敵対的ロバストネスにとって有害である可能性があります
Generating Adversarial Samples in Mini-Batches May Be Detrimental To Adversarial Robustness
ニューラル ネットワークは、コンピューター ビジョン内で非常に効果的であると同時に、敵対的な攻撃に対して非常に脆弱であることが証明されています。その結果、比類のないパフォーマンスのためにニューラル ネットワークの使用が増加するにつれて、敵対的攻撃による脅威も増加します。この作業では、敵対的サンプルの生成中に使用されるミニバッチサイズと生成された敵対的サンプルの強度との関係を調査することにより、敵対的堅牢性の課題に対処することを目指しています。ミニバッチ サイズが大きくなると、生成されるサンプルの有効性が低下することを実証し、これらの観察結果と勾配消失現象との関連性を示します。次に、ミニバッチサイズによって敵対的サンプルの強度が低下しないように、損失関数を定式化します。私たちの調査結果は、敵対的攻撃の真の (実際的な) 強度を過小評価する潜在的なリスクと、モデルの堅牢性を過大評価するリスクを強調しています。私たちはコードを共有して、他の人が私たちの実験を再現できるようにし、バッチサイズと敵対的サンプルの強さの間の関係をさらに調査しやすくします。
Neural networks have been proven to be both highly effective within computer vision, and highly vulnerable to adversarial attacks. Consequently, as the use of neural networks increases due to their unrivaled performance, so too does the threat posed by adversarial attacks. In this work, we build towards addressing the challenge of adversarial robustness by exploring the relationship between the mini-batch size used during adversarial sample generation and the strength of the adversarial samples produced. We demonstrate that an increase in mini-batch size results in a decrease in the efficacy of the samples produced, and we draw connections between these observations and the phenomenon of vanishing gradients. Next, we formulate loss functions such that adversarial sample strength is not degraded by mini-batch size. Our findings highlight a potential risk for underestimating the true (practical) strength of adversarial attacks, and a risk of overestimating a model's robustness. We share our codes to let others replicate our experiments and to facilitate further exploration of the connections between batch size and adversarial sample strength.
updated: Thu Mar 30 2023 21:42:50 GMT+0000 (UTC)
published: Thu Mar 30 2023 21:42:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト