ニューラル ネットワークは多くのタスクで高精度の予測を可能にしますが、わずかな入力の摂動に対する堅牢性が欠けているため、多くの実世界のアプリケーションへの展開が妨げられています。独創的な投影勾配降下法 (PGD) 攻撃やその後の研究など、ニューラル ネットワークの堅牢性を評価するための最近の研究は、ネットワークによって学習された表現の品質についての効果的な洞察を提供するため、大きな注目を集めています。ただし、これらの方法は主に画像分類タスクに焦点を当てており、セマンティック セグメンテーション、オプティカル フロー、視差推定などのピクセル単位の予測タスクの分析に具体的に取り組んでいるアプローチはわずかです。したがって、そのようなすべてのピクセル単位の予測タスクに適用できる統合された敵対的堅牢性ベンチマーク ツール (アルゴリズム) が不足しています。この研究では、このギャップを埋め、統合設定でピクセルごとの予測タスクに対する専用攻撃を最適化できる新しいホワイトボックス敵対的攻撃である CosPGD を提案します。これは、予測とグランド トゥルース (またはターゲット) にわたる分布間のコサイン類似性を利用して、分類タスクから回帰設定に直接拡張します。 PASCAL VOC2012 と CityScapes での実験では、セマンティック セグメンテーション攻撃に関して SotA を上回りました。さらに、オプティカル フローに対する敵対的攻撃の新しいベンチマークを設定し、あらゆるピクセル単位の予測タスクに拡張できる能力を示した画像復元を行いました。
While neural networks allow highly accurate predictions in many tasks, their lack of robustness towards even slight input perturbations hampers their deployment in many real-world applications. Recent research towards evaluating the robustness of neural networks such as the seminal projected gradient descent(PGD) attack and subsequent works have drawn significant attention, as they provide an effective insight into the quality of representations learned by the network. However, these methods predominantly focus on image classification tasks, while only a few approaches specifically address the analysis of pixel-wise prediction tasks such as semantic segmentation, optical flow, disparity estimation, and others, respectively. Thus, there is a lack of a unified adversarial robustness benchmarking tool(algorithm) that is applicable to all such pixel-wise prediction tasks. In this work, we close this gap and propose CosPGD, a novel white-box adversarial attack that allows optimizing dedicated attacks for any pixel-wise prediction task in a unified setting. It leverages the cosine similarity between the distributions over the predictions and ground truth (or target) to extend directly from classification tasks to regression settings. We outperform the SotA on semantic segmentation attacks in our experiments on PASCAL VOC2012 and CityScapes. Further, we set a new benchmark for adversarial attacks on optical flow, and image restoration displaying the ability to extend to any pixel-wise prediction task.