arXiv reaDer
On Adversarial Robustness: A Neural Architecture Search perspective
ディープラーニングモデルの敵対的な堅牢性は、過去数年間で大きな注目を集めています。現代の深層学習アーキテクチャの敵対的な堅牢性を向上させるために、さまざまな攻撃と防御が提案されています。これらすべてのアプローチはロバスト性の向上に役立ちますが、敵対的なロバスト性を向上させるための1つの有望な方向性、つまりニューラルネットワークアーキテクチャの複雑なトポロジは未踏です。この作業では、次の質問に答えます。「ニューラルネットワークの複雑なトポロジは、敵対的なトレーニングなしで敵対的な堅牢性を提供できますか?」さまざまな手作りのNASベースのアーキテクチャを実験して経験的に。私たちの調査結果は、小規模な攻撃の場合、NASベースのアーキテクチャは、手作りのアーキテクチャよりも小規模なデータセットと単純なタスクに対してより堅牢であることを示しています。ただし、データセットのサイズまたはタスクの複雑さが増すにつれて、手作りのアーキテクチャはNASベースのアーキテクチャよりも堅牢になります。純粋にアーキテクチャの観点から敵対者の堅牢性を理解するために、最初の大規模な調査を実行します。私たちの結果は、単純なアンサンブルを使用したDARTS(一般的なNASメソッド)の検索空間でのランダムサンプリングにより、PGD攻撃に対する堅牢性を約12%向上させることができることを示しています。 SoTAの精度で人気のあるNASが、敵対的なトレーニングを一切行わなくても、無料のアドオンとして敵対的な精度を提供できることを示します。私たちの結果は、アンサンブルのような方法でニューラルネットワークトポロジの力を活用することは、敵対的なトレーニングを一切行わずに敵対的な堅牢性を実現するための優れた方法であることを示しています。また、クリーンな精度と敵対的な堅牢性の間のトレードオフを計算するために使用できるメトリックを紹介します。
Adversarial robustness of deep learning models has gained much traction in the last few years. Various attacks and defenses are proposed to improve the adversarial robustness of modern-day deep learning architectures. While all these approaches help improve the robustness, one promising direction for improving adversarial robustness is un-explored, i.e., the complex topology of the neural network architecture. In this work, we answer the following question: "Can the complex topology of a neural network give adversarial robustness without any form of adversarial training?" empirically by experimenting with different hand-crafted and NAS based architectures. Our findings show that, for small-scale attacks, NAS-based architectures are more robust for small-scale datasets and simple tasks than hand-crafted architectures. However, as the dataset's size or the task's complexity increase, hand-crafted architectures are more robust than NAS-based architectures. We perform the first large scale study to understand adversarial robustness purely from an architectural perspective. Our results show that random sampling in the search space of DARTS (a popular NAS method) with simple ensembling can improve the robustness to PGD attack by nearly ~12%. We show that NAS, which is popular for SoTA accuracy, can provide adversarial accuracy as a free add-on without any form of adversarial training. Our results show that leveraging the power of neural network topology with methods like ensembles can be an excellent way to achieve adversarial robustness without any form of adversarial training. We also introduce a metric that can be used to calculate the trade-off between clean accuracy and adversarial robustness.
updated: Fri Aug 06 2021 06:16:13 GMT+0000 (UTC)
published: Thu Jul 16 2020 16:07:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト