arXiv reaDer
フィルターの重量配分による精度と堅牢性のトレードオフを再考する
Revisiting the Trade-off between Accuracy and Robustness via Weight Distribution of Filters
敵対的攻撃はディープ ニューラル ネットワーク (DNN) に対する潜在的な脅威であることが証明されており、敵対的攻撃を防御するための多くの方法が提案されています。ただし、堅牢性を高める一方で、クリーンな精度はある程度低下します。これは、精度と堅牢性の間にトレードオフが存在することを意味します。この論文では、まず同じアーキテクチャのフィルターの重み分布における標準モデルとロバスト モデルの明らかな違いを経験的に見つけ、次にこの現象を勾配正則化の観点から理論的に説明します。これは、この違いが DNN の固有の特性であることを示しています。したがって、静的なネットワーク アーキテクチャでは、精度と堅牢性を同時に向上させることが困難です。第 2 に、この観察に基づいて、「分割してルール」の重み戦略を使用してクリーンな例と敵対的な例を処理することに焦点を当てた、敵対的重み可変ネットワーク (AW-Net) と呼ばれるサンプルごとの動的ネットワーク アーキテクチャを提案します。 -Net は、入力サンプルによって直接影響を受ける、敵対的検出器によって生成された規制信号に基づいてネットワークの重みを動的に調整します。動的ネットワーク アーキテクチャの利点を活用して、クリーンなサンプルと敵対的なサンプルを異なるネットワークの重みで処理でき、これにより、ネットワークの重みを向上させる可能性が得られます。一連の実験により、当社の AW-Net はクリーンな例と敵対的な例の両方を処理できるアーキテクチャーに適しており、最先端の堅牢なモデルよりも優れたトレードオフ パフォーマンスを達成できることが実証されています。
Adversarial attacks have been proven to be potential threats to Deep Neural Networks (DNNs), and many methods are proposed to defend against adversarial attacks. However, while enhancing the robustness, the clean accuracy will decline to a certain extent, implying a trade-off existed between the accuracy and robustness. In this paper, we firstly empirically find an obvious distinction between standard and robust models in the filters' weight distribution of the same architecture, and then theoretically explain this phenomenon in terms of the gradient regularization, which shows this difference is an intrinsic property for DNNs, and thus a static network architecture is difficult to improve the accuracy and robustness at the same time. Secondly, based on this observation, we propose a sample-wise dynamic network architecture named Adversarial Weight-Varied Network (AW-Net), which focuses on dealing with clean and adversarial examples with a ``divide and rule" weight strategy. The AW-Net dynamically adjusts network's weights based on regulation signals generated by an adversarial detector, which is directly influenced by the input sample. Benefiting from the dynamic network architecture, clean and adversarial examples can be processed with different network weights, which provides the potentiality to enhance the accuracy and robustness simultaneously. A series of experiments demonstrate that our AW-Net is architecture-friendly to handle both clean and adversarial examples and can achieve better trade-off performance than state-of-the-art robust models.
updated: Mon Jul 31 2023 07:05:46 GMT+0000 (UTC)
published: Tue Jun 06 2023 06:09:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト