ニューラル ネットワークは、多くのタスクで非常に正確な予測を可能にしますが、わずかな入力摂動に対する堅牢性の欠如が、多くの実世界のアプリケーションへの展開を妨げています。したがって、精力的な射影勾配降下 (PGD) 攻撃やその後の研究、ベンチマークなど、ニューラル ネットワークの堅牢性を評価するための最近の研究は、大きな注目を集めています。しかし、そのような方法は主に分類タスクに焦点を当てていますが、セマンティック セグメンテーション、オプティカル フロー、または視差推定などのピクセル単位の予測タスクの分析に具体的に対処するアプローチはごくわずかです。注目すべき例外の 1 つは、最近提案された SegPGD 攻撃です。これは、セマンティック セグメンテーションを評価するためのピクセル単位の攻撃の重要性を示す可能性があります。 SegPGD はピクセル単位の分類 (つまり、セグメンテーション) に限定されていますが、この作業では CosPGD を提案します。CosPGD は、統一された設定で任意のピクセル単位の予測タスク専用の攻撃を最適化できる新しいホワイト ボックスの敵対的攻撃です。予測とグラウンド トゥルース間のコサイン類似性を活用して、分類タスクから回帰設定に直接拡張します。さらに、セマンティック セグメンテーションとオプティカル フローおよび視差推定に対する CosPGD の優れたパフォーマンスを経験的に示します。
While neural networks allow highly accurate predictions in many tasks, their lack in robustness towards even slight input perturbations hampers their deployment in many real-world applications. Recent research towards evaluating the robustness of neural networks such as the seminal projected gradient descent (PGD) attack and subsequent works and benchmarks have therefore drawn significant attention. Yet, such methods focus predominantly on classification tasks, while only a few approaches specifically address the analysis of pixel-wise prediction tasks such as semantic segmentation, optical flow, or disparity estimation. One notable exception is the recently proposed SegPGD attack, which could showcase the importance of pixel-wise attacks for evaluating semantic segmentation. While SegPGD is limited to pixel-wise classification (i.e. segmentation), in this work, we propose CosPGD, a novel white-box adversarial attack that allows to optimize dedicated attacks for any pixel-wise prediction task in a unified setting. It leverages the cosine similarity between the predictions and ground truth to extend directly from classification tasks to regression settings. Further, we empirically show the superior performance of CosPGD for semantic segmentation as well as for optical flow and disparity estimation.