arXiv reaDer
VeriCompress: 検証済みの堅牢な圧縮ニューラル ネットワークの合成を最初から合理化するツール
VeriCompress: A Tool to Streamline the Synthesis of Verified Robust Compressed Neural Networks from Scratch
AI の広範な統合により、安全性が重要なシナリオ向けに、エッジや同様の限られたリソースのプラットフォームにニューラル ネットワーク (NN) が導入されるようになりました。しかし、NN の脆弱性により、信頼性の高い推論に対する懸念が生じます。さらに、制約のあるプラットフォームでは、コンパクトなネットワークが求められます。この調査では、堅牢性が保証された圧縮モデルの検索とトレーニングを自動化するツールである VeriCompress を紹介します。これらのモデルは、安全性が重要なアプリケーションに適しており、事前定義されたアーキテクチャとサイズ制限に準拠しているため、リソースが制限されたプラットフォームに展開できます。このメソッドは、最先端のアプローチよりも 2 ~ 3 倍高速にモデルをトレーニングし、関連するベースライン アプローチを平均精度とロバスト性でそれぞれ 15.1 パーセント ポイントと 9.8 パーセント ポイント上回りました。リソースが制限された汎用プラットフォームにデプロイされた場合、これらのモデルは、検証済みの堅牢性に関する文献で使用されているモデルに比べて、必要なメモリが 5 ~ 8 分の 1、推論時間が 2 ~ 4 分の 1 に短縮されます。 MNIST、CIFAR、SVHN、関連する歩行者検出データセットなど、さまざまなモデル アーキテクチャとデータセットにわたる包括的な評価は、現在の標準と比較して計算オーバーヘッドを削減しながら、圧縮された検証済みの堅牢なモデルを識別する VeriCompress の能力を示しています。これは、エッジ プラットフォームやモノのインターネット プラットフォーム上のセーフティ クリティカルなアプリケーションの開発者などのエンド ユーザーにとって価値のあるツールとしての可能性を強調し、それぞれのドメインでセーフティ クリティカルでリソースに制約のあるプラットフォームに適したモデルを作成できるようにします。
AI's widespread integration has led to neural networks (NNs) deployment on edge and similar limited-resource platforms for safety-critical scenarios. Yet, NN's fragility raises concerns about reliable inference. Moreover, constrained platforms demand compact networks. This study introduces VeriCompress, a tool that automates the search and training of compressed models with robustness guarantees. These models are well-suited for safety-critical applications and adhere to predefined architecture and size limitations, making them deployable on resource-restricted platforms. The method trains models 2-3 times faster than the state-of-the-art approaches, surpassing relevant baseline approaches by average accuracy and robustness gains of 15.1 and 9.8 percentage points, respectively. When deployed on a resource-restricted generic platform, these models require 5-8 times less memory and 2-4 times less inference time than models used in verified robustness literature. Our comprehensive evaluation across various model architectures and datasets, including MNIST, CIFAR, SVHN, and a relevant pedestrian detection dataset, showcases VeriCompress's capacity to identify compressed verified robust models with reduced computation overhead compared to current standards. This underscores its potential as a valuable tool for end users, such as developers of safety-critical applications on edge or Internet of Things platforms, empowering them to create suitable models for safety-critical, resource-constrained platforms in their respective domains.
updated: Tue Nov 21 2023 18:03:06 GMT+0000 (UTC)
published: Thu Nov 17 2022 23:42:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト