arXiv reaDer
A Convex Relaxation Barrier to Tight Robustness Verification of Neural Networks
 ニューラルネットワークの検証により、敵の攻撃に対する堅牢性を評価できます。検証アルゴリズムは、指数関数的な時間で実行される正確な検証と、効率的だが不完全な緩和された検証の2つのカテゴリに分類されます。この論文では、一般的な凸緩和フレームワークの下で、既存のすべてのLP緩和検証器を知識の及ぶ限り統合します。このフレームワークは、多様なアーキテクチャと非線形性を備えたニューラルネットワークで機能し、堅牢性検証の基本ビューとデュアルビューの両方をカバーしています。さらに、非常に穏やかな条件下での原始問題と双対問題の強い双対性を証明します。次に、22 CPU年を超える大規模な実験を実行して、ReLUネットワークのフレームワーク内で最適な凸緩和問題の正確な解を取得します。正確なソリューションは、MNISTおよびCIFARデータセットで通常またはロバストにトレーニングされたさまざまなネットワークのPGDと既存のリラックス検証者との間のギャップを大幅に改善しないことがわかります。私たちの結果は、私たちのフレームワークによってキャプチャされたメソッドの大規模なクラスの厳密な検証に対する固有の障壁があることを示唆しています。この障壁の考えられる原因と、それを回避するための潜在的な将来の方向性について説明します。コードとトレーニング済みのモデルは、で入手できます。
Verification of neural networks enables us to gauge their robustness against adversarial attacks. Verification algorithms fall into two categories: exact verifiers that run in exponential time and relaxed verifiers that are efficient but incomplete. In this paper, we unify all existing LP-relaxed verifiers, to the best of our knowledge, under a general convex relaxation framework. This framework works for neural networks with diverse architectures and nonlinearities and covers both primal and dual views of robustness verification. We further prove strong duality between the primal and dual problems under very mild conditions. Next, we perform large-scale experiments, amounting to more than 22 CPU-years, to obtain exact solution to the convex-relaxed problem that is optimal within our framework for ReLU networks. We find the exact solution does not significantly improve upon the gap between PGD and existing relaxed verifiers for various networks trained normally or robustly on MNIST and CIFAR datasets. Our results suggest there is an inherent barrier to tight verification for the large class of methods captured by our framework. We discuss possible causes of this barrier and potential future directions for bypassing it. Our code and trained models are available at .
updated: Fri Jan 10 2020 00:20:07 GMT+0000 (UTC)
published: Sat Feb 23 2019 03:01:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト