arXiv reaDer
機械学習の実用的な検証に向けて: コンピュータ ビジョン システムの事例
Towards Practical Verification of Machine Learning: The Case of Computer Vision Systems
自律システムや医療診断など、セキュリティおよび安全性が重要な領域で機械学習 (ML) 技術の使用が増加しているため、特にさまざまなコーナーケースで ML システムの正しい動作を確保することが重要になっています。この論文では、さまざまな現実世界の安全特性を使用して、ML システムのセキュリティと堅牢性を評価するための一般的なフレームワークを提案します。さらに、ブラックボックス アクセスのみで最先端のコンピューター ビジョン システムのさまざまな安全特性を検証できるスケーラブルな方法論である VeriVis を設計、実装、評価します。 VeriVis は、さまざまな入力スペース削減技術を活用して、さまざまな安全特性を効率的に検証します。 VeriVis は、Inception-v3 などの 10 のディープ ニューラル ネットワーク (DNN) や、数千のニューロンを備えた Nvidia の Dave 自動運転システム、および 5 つの商用システムを含む、15 の最先端のコンピューター ビジョン システムで数千の安全違反を見つけることができます。 Google Vision や Clarifai など、12 の異なる安全性プロパティ用のサードパーティ ビジョン API。さらに、VeriVis は、平均してテスト画像の約 31.7% について、ローカルの安全性を正常に検証できます。 VeriVis は、VeriVis とは異なり、違反が存在しないことを保証できない既存の勾配ベースの方法よりも最大 64.8 倍多くの違反を検出します。最後に、VeriVis によって検出された安全違反を使用した再トレーニングにより、違反の平均数を最大 60.2% 削減できることを示します。
Due to the increasing usage of machine learning (ML) techniques in security- and safety-critical domains, such as autonomous systems and medical diagnosis, ensuring correct behavior of ML systems, especially for different corner cases, is of growing importance. In this paper, we propose a generic framework for evaluating security and robustness of ML systems using different real-world safety properties. We further design, implement and evaluate VeriVis, a scalable methodology that can verify a diverse set of safety properties for state-of-the-art computer vision systems with only blackbox access. VeriVis leverage different input space reduction techniques for efficient verification of different safety properties. VeriVis is able to find thousands of safety violations in fifteen state-of-the-art computer vision systems including ten Deep Neural Networks (DNNs) such as Inception-v3 and Nvidia's Dave self-driving system with thousands of neurons as well as five commercial third-party vision APIs including Google vision and Clarifai for twelve different safety properties. Furthermore, VeriVis can successfully verify local safety properties, on average, for around 31.7% of the test images. VeriVis finds up to 64.8x more violations than existing gradient-based methods that, unlike VeriVis, cannot ensure non-existence of any violations. Finally, we show that retraining using the safety violations detected by VeriVis can reduce the average number of violations up to 60.2%.
updated: Tue Dec 20 2022 07:14:37 GMT+0000 (UTC)
published: Tue Dec 05 2017 17:49:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト