arXiv reaDer
大規模ニューラル ネットワークの幾何学的ロバスト性の検証に向けて
Towards Verifying the Geometric Robustness of Large-scale Neural Networks
ディープ ニューラル ネットワーク (DNN) は、敵対的な幾何学的変換に対して脆弱であることが知られています。この論文は、証明可能な保証を伴う複数の幾何学的変換の組み合わせに対する大規模 DNN のロバスト性を検証することを目的としています。一連の変換 (回転、スケーリングなど) が与えられると、GeoRobust を開発します。これは、ネットワークのネットワークに影響を与えたり変更したりする最悪の場合の変換の組み合わせを特定するために、新しいグローバル最適化戦略に基づいて構築されたブラックボックスのロバストネス アナライザーです。出力。 GeoRobust は、リプシッツ理論の最近の進歩に基づいて、最悪の組み合わせを見つける上で証明可能な保証を提供できます。そのブラック ボックスの性質により、GeoRobust は、アーキテクチャ、アクティベーション関数、およびニューロンの数に関係なく、大規模な DNN に展開できます。実際には、GeoRobust は ImageNet 上の ResNet50 モデルの最悪の場合の幾何学的変換を、平均して数秒で高精度で特定できます。 ResNet ファミリーやビジョン トランスフォーマーを含む 18 の ImageNet 分類子を調べたところ、ネットワークの幾何学的な堅牢性とパラメーター数の間に正の相関関係があることがわかりました。また、DNN の深さを増やすことは、幾何学的な堅牢性を向上させるという点で、幅を増やすことよりも有益であることもわかります。当社のツール GeoRobust は、https://github.com/TrustAI/GeoRobust で入手できます。
Deep neural networks (DNNs) are known to be vulnerable to adversarial geometric transformation. This paper aims to verify the robustness of large-scale DNNs against the combination of multiple geometric transformations with a provable guarantee. Given a set of transformations (e.g., rotation, scaling, etc.), we develop GeoRobust, a black-box robustness analyser built upon a novel global optimisation strategy, for locating the worst-case combination of transformations that affect and even alter a network's output. GeoRobust can provide provable guarantees on finding the worst-case combination based on recent advances in Lipschitzian theory. Due to its black-box nature, GeoRobust can be deployed on large-scale DNNs regardless of their architectures, activation functions, and the number of neurons. In practice, GeoRobust can locate the worst-case geometric transformation with high precision for the ResNet50 model on ImageNet in a few seconds on average. We examined 18 ImageNet classifiers, including the ResNet family and vision transformers, and found a positive correlation between the geometric robustness of the networks and the parameter numbers. We also observe that increasing the depth of DNN is more beneficial than increasing its width in terms of improving its geometric robustness. Our tool GeoRobust is available at https://github.com/TrustAI/GeoRobust.
updated: Thu Mar 30 2023 21:20:35 GMT+0000 (UTC)
published: Sun Jan 29 2023 14:44:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト