コンピュータビジョンタスク用の既存のニューラルネットワークは、敵対的な攻撃に対して脆弱です。入力画像に知覚できない摂動を追加すると、これらの方法をだまして、摂動なしで正しく予測された画像に対して誤った予測を行う可能性があります。トレーニングプロセスにこれらの摂動を含めるか、前処理のノイズ除去ステップでそれらを除去するなど、さまざまな防御方法が画像から画像へのマッピング方法を提案しています。そうすることで、既存の方法は、今日のデータセットの自然なRGB画像がキャプチャされないことを無視することがよくありますが、実際には、キャプチャでさまざまな劣化が発生するRAWカラーフィルタアレイキャプチャから復元されます。この作業では、このRAWデータ分布を、敵対的防御の経験的事前確率として活用します。具体的には、モデルにとらわれない敵対的防御手法を提案しました。これは、入力RGB画像をBayer RAW空間にマッピングし、学習したカメラ画像信号処理(ISP)パイプラインを使用して出力RGBに戻し、潜在的な敵対的パターンを排除します。提案された方法は、既成の前処理モジュールとして機能し、モデル固有の敵対的訓練方法とは異なり、訓練するために敵対的画像を必要としない。その結果、この方法は、追加の再トレーニングなしで、目に見えないタスクに一般化されます。さまざまな視覚タスク(分類、セマンティックセグメンテーション、オブジェクト検出など)の大規模データセット(ImageNet、COCOなど)での実験により、このメソッドがタスクドメイン全体で既存のメソッドよりも大幅に優れていることが検証されます。
Existing neural networks for computer vision tasks are vulnerable to adversarial attacks: adding imperceptible perturbations to the input images can fool these methods to make a false prediction on an image that was correctly predicted without the perturbation. Various defense methods have proposed image-to-image mapping methods, either including these perturbations in the training process or removing them in a preprocessing denoising step. In doing so, existing methods often ignore that the natural RGB images in today's datasets are not captured but, in fact, recovered from RAW color filter array captures that are subject to various degradations in the capture. In this work, we exploit this RAW data distribution as an empirical prior for adversarial defense. Specifically, we proposed a model-agnostic adversarial defensive method, which maps the input RGB images to Bayer RAW space and back to output RGB using a learned camera image signal processing (ISP) pipeline to eliminate potential adversarial patterns. The proposed method acts as an off-the-shelf preprocessing module and, unlike model-specific adversarial training methods, does not require adversarial images to train. As a result, the method generalizes to unseen tasks without additional retraining. Experiments on large-scale datasets (e.g., ImageNet, COCO) for different vision tasks (e.g., classification, semantic segmentation, object detection) validate that the method significantly outperforms existing methods across task domains.