arXiv reaDer
PRoA:機能的摂動に対する確率的ロバストネス評価
PRoA: A Probabilistic Robustness Assessment against Functional Perturbations
セーフティクリティカルなディープラーニングアプリケーションでは、堅牢性の測定は展開前の重要なフェーズです。ただし、既存の堅牢性検証方法は、現実の世界に機械学習システムを導入するには十分に実用的ではありません。一方では、これらの方法は、摂動がディープニューラルネットワーク(DNN)を「だます」ことができないと主張しようとします。これは、実際には厳しすぎる可能性があります。一方、既存の作業では、ピクセル空間でのL_p境界の加法摂動を厳密に考慮していますが、現実の世界では、カラーシフトや幾何学的変換などの摂動がより実際的かつ頻繁に発生しています。したがって、実用的な観点から、適応集中に基づく新規で一般的な確率的ロバストネス評価方法(PRoA)を提示し、機能的摂動に対する深層学習モデルのロバスト性を測定できます。 PRoAは、モデルの確率的ロバスト性、つまり、展開後にトレーニングされたモデルが遭遇する障害の確率に関する統計的保証を提供できます。私たちの実験は、広範囲の機能的摂動に対する確率的ロバスト性を評価するという点でPRoAの有効性と柔軟性を示しており、PRoAは、既存の最先端のベースラインと比較して、さまざまな大規模なディープニューラルネットワークにうまくスケーリングできます。再現性を目的として、ツールをGitHub(https://github.com/TrustAI/PRoA)でリリースします。
In safety-critical deep learning applications robustness measurement is a vital pre-deployment phase. However, existing robustness verification methods are not sufficiently practical for deploying machine learning systems in the real world. On the one hand, these methods attempt to claim that no perturbations can ``fool'' deep neural networks (DNNs), which may be too stringent in practice. On the other hand, existing works rigorously consider L_p bounded additive perturbations on the pixel space, although perturbations, such as colour shifting and geometric transformations, are more practically and frequently occurring in the real world. Thus, from the practical standpoint, we present a novel and general probabilistic robustness assessment method (PRoA) based on the adaptive concentration, and it can measure the robustness of deep learning models against functional perturbations. PRoA can provide statistical guarantees on the probabilistic robustness of a model, i.e., the probability of failure encountered by the trained model after deployment. Our experiments demonstrate the effectiveness and flexibility of PRoA in terms of evaluating the probabilistic robustness against a broad range of functional perturbations, and PRoA can scale well to various large-scale deep neural networks compared to existing state-of-the-art baselines. For the purpose of reproducibility, we release our tool on GitHub: https://github.com/TrustAI/PRoA.
updated: Tue Jul 05 2022 13:27:38 GMT+0000 (UTC)
published: Tue Jul 05 2022 13:27:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト