光ベースの敵対的攻撃は、空間拡張現実(SAR)技術を使用して、プロジェクターなどの制御可能な光源で物理的な光の状態を変更することにより、画像分類器をだまします。手作りの敵対オブジェクトを配置する物理攻撃と比較して、プロジェクターベースの攻撃は物理エンティティの変更を不要にし、投影パターンを変更することで一時的かつ動的に実行できます。ただし、複雑な環境とプロジェクトとキャプチャのプロセスのため、微妙な光の摂動は画像分類器をだますには不十分です。したがって、既存のアプローチは、明確に知覚できる敵対的なパターンを投影することに焦点を当てていますが、より興味深いが挑戦的な目標であるステルスプロジェクターベースの攻撃は未解決のままです。この論文では、初めて、この問題をエンドツーエンドの微分可能なプロセスとして定式化し、ステルスプロジェクターベースの敵対的攻撃(SPAA)ソリューションを提案します。 SPAAでは、PCNetという名前のディープニューラルネットワークを使用して実際のプロジェクトとキャプチャのプロセスを概算し、生成された敵対的な投影が物理的にもっともらしいように、プロジェクターベースの攻撃の最適化にPCNetを含めます。最後に、ロバストでステルスな敵対的予測の両方を生成するために、最小の摂動と敵対的信頼のしきい値を使用して、敵対的損失とステルス性損失の最適化を交互に行うアルゴリズムを提案します。私たちの実験的評価は、SPAAが、標的型攻撃と非標的型攻撃の両方で、より高い攻撃成功率を達成し、その一方でステルス性を達成することにより、他の方法よりも明らかに優れていることを示しています。
Light-based adversarial attacks use spatial augmented reality (SAR) techniques to fool image classifiers by altering the physical light condition with a controllable light source, e.g., a projector. Compared with physical attacks that place hand-crafted adversarial objects, projector-based ones obviate modifying the physical entities, and can be performed transiently and dynamically by altering the projection pattern. However, subtle light perturbations are insufficient to fool image classifiers, due to the complex environment and project-and-capture process. Thus, existing approaches focus on projecting clearly perceptible adversarial patterns, while the more interesting yet challenging goal, stealthy projector-based attack, remains open. In this paper, for the first time, we formulate this problem as an end-to-end differentiable process and propose a Stealthy Projector-based Adversarial Attack (SPAA) solution. In SPAA, we approximate the real Project-and-Capture process using a deep neural network named PCNet, then we include PCNet in the optimization of projector-based attacks such that the generated adversarial projection is physically plausible. Finally, to generate both robust and stealthy adversarial projections, we propose an algorithm that uses minimum perturbation and adversarial confidence thresholds to alternate between the adversarial loss and stealthiness loss optimization. Our experimental evaluations show that SPAA clearly outperforms other methods by achieving higher attack success rates and meanwhile being stealthier, for both targeted and untargeted attacks.