arXiv reaDer
実用的な展開に向けて-ディープニューラルネットワークへのステージバックドア攻撃
Towards Practical Deployment-Stage Backdoor Attack on Deep Neural Networks
AIセキュリティコミュニティの主要な目標の1つは、実際のアプリケーション向けのディープラーニングモデルを安全かつ確実に作成して展開することです。この目的のために、近年、本番段階(またはトレーニング段階)のディープニューラルネットワーク(DNN)に対するデータポイズニングベースのバックドア攻撃とそれに対応する防御策が広く検討されています。皮肉なことに、展開段階でのバックドア攻撃は、専門家ではないユーザーのデバイスで発生することが多く、したがって実際のシナリオではおそらくはるかに脅威的であり、コミュニティの注目をはるかに少なくします。この警戒の不均衡は、既存の展開段階のバックドア攻撃アルゴリズムの実用性の低さと、実際の攻撃のデモンストレーションの不十分さに起因します。空白を埋めるために、この作業では、DNNに対する展開段階のバックドア攻撃の現実的な脅威を調査します。調査は、一般的に使用される展開段階の攻撃パラダイムである敵対的重み攻撃に基づいています。敵対的重み攻撃では、攻撃者がモデルの重みを選択的に変更して、展開されたDNNにバックドアを埋め込みます。現実的な実用性に近づくために、バックドアインジェクション用の最初のグレーボックスで物理的に実現可能な重み攻撃アルゴリズム、つまり、被害者モデルのアーキテクチャ情報のみを必要とし、現実世界の物理トリガーをサポートできるサブネット置換攻撃(SRA)を提案します。広範な実験シミュレーションとシステムレベルの実際の攻撃のデモンストレーションが実施されます。私たちの結果は、提案された攻撃アルゴリズムの有効性と実用性を示唆するだけでなく、ユーザーデバイスのDNNモデルにバックドアを広く拡散して密かに注入する可能性のある新しいタイプのコンピュータウイルスの実際的なリスクも明らかにしています。私たちの調査では、展開段階でのDNNの脆弱性にさらに注意を払う必要があります。
One major goal of the AI security community is to securely and reliably produce and deploy deep learning models for real-world applications. To this end, data poisoning based backdoor attacks on deep neural networks (DNNs) in the production stage (or training stage) and corresponding defenses are extensively explored in recent years. Ironically, backdoor attacks in the deployment stage, which can often happen in unprofessional users' devices and are thus arguably far more threatening in real-world scenarios, draw much less attention of the community. We attribute this imbalance of vigilance to the weak practicality of existing deployment-stage backdoor attack algorithms and the insufficiency of real-world attack demonstrations. To fill the blank, in this work, we study the realistic threat of deployment-stage backdoor attacks on DNNs. We base our study on a commonly used deployment-stage attack paradigm -- adversarial weight attack, where adversaries selectively modify model weights to embed backdoor into deployed DNNs. To approach realistic practicality, we propose the first gray-box and physically realizable weights attack algorithm for backdoor injection, namely subnet replacement attack (SRA), which only requires architecture information of the victim model and can support physical triggers in the real world. Extensive experimental simulations and system-level real-world attack demonstrations are conducted. Our results not only suggest the effectiveness and practicality of the proposed attack algorithm, but also reveal the practical risk of a novel type of computer virus that may widely spread and stealthily inject backdoor into DNN models in user devices. By our study, we call for more attention to the vulnerability of DNNs in the deployment stage.
updated: Thu May 26 2022 20:52:27 GMT+0000 (UTC)
published: Thu Nov 25 2021 08:25:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト