敵対的攻撃は、予測子が誤った結果を出力するように画像を混乱させることを目的としています。構造化された攻撃の研究は限られているため、自然な複数オブジェクトのシーンに一貫性チェックを課すことは、従来の敵対的攻撃に対する有望かつ実用的な防御です。この目的のために、より望ましい攻撃は、このような一貫性チェックで防御をだますことができるはずです。したがって、カテゴリと幾何学的レイアウトの両方の制約が明示的に確立される、グローバルなレイアウトを認識する敵対的攻撃を生成することにより、さまざまな攻撃要求に対処する最初のアプローチ GLOW を提示します。具体的には、オブジェクト検出タスクに焦点を当て、犠牲者の画像が与えられると、GLOW は最初にターゲット ラベルに従って犠牲者のオブジェクトをローカライズします。次に、複数の攻撃計画と、それらのコンテキスト一貫性スコアを生成します。一方、提案された GLOW は、指定された犠牲オブジェクトの有無にかかわらず、単一または複数の犠牲オブジェクトを含むさまざまなタイプの要求を処理できます。一方、攻撃計画ごとに一貫性スコアを生成し、セマンティック カテゴリとグローバル シーン レイアウトの両方が考慮される全体的なコンテキストの一貫性を反映します。実験では、複数のタイプの攻撃リクエストを設計し、MS COCO と Pascal でアイデアを検証します。広範な実験結果は、従来の単一オブジェクト攻撃リクエストで最先端の方法と比較して、平均で約 30% の相対的な改善を達成できることを示しています。さらに、私たちの方法は、より一般的な攻撃リクエストで SOTA よりも平均で約 20% 大幅に優れています。最後に、私たちの方法は、挑戦的なゼロクエリのブラックボックス設定の下で優れたパフォーマンスを生み出し、SOTA よりも 20% 優れています。私たちのコード、モデル、および攻撃のリクエストが利用可能になります。
Adversarial attacks aim to perturb images such that a predictor outputs incorrect results. Due to the limited research in structured attacks, imposing consistency checks on natural multi-object scenes is a promising yet practical defense against conventional adversarial attacks. More desired attacks, to this end, should be able to fool defenses with such consistency checks. Therefore, we present the first approach GLOW that copes with various attack requests by generating global layout-aware adversarial attacks, in which both categorical and geometric layout constraints are explicitly established. Specifically, we focus on object detection task and given a victim image, GLOW first localizes victim objects according to target labels. And then it generates multiple attack plans, together with their context-consistency scores. Our proposed GLOW, on the one hand, is capable of handling various types of requests, including single or multiple victim objects, with or without specified victim objects. On the other hand, it produces a consistency score for each attack plan, reflecting the overall contextual consistency that both semantic category and global scene layout are considered. In experiment, we design multiple types of attack requests and validate our ideas on MS COCO and Pascal. Extensive experimental results demonstrate that we can achieve about 30% average relative improvement compared to state-of-the-art methods in conventional single object attack request; Moreover, our method outperforms SOTAs significantly on more generic attack requests by about 20% in average; Finally, our method produces superior performance under challenging zero-query black-box setting, or 20% better than SOTAs. Our code, model and attack requests would be made available.