敵対的防御の信頼性の高い評価は困難な作業であり、現在、防御の内部動作を悪用する攻撃を手動で作成する専門家、または固定攻撃のアンサンブルに基づくアプローチに限定されていますが、いずれも目前の特定の防御には効果的ではない可能性があります。私たちの重要な観察は、カスタム攻撃は、関連する攻撃パラメータの微調整、ネットワーク変換、カスタム損失関数など、再利用可能なビルディングブロックのセットから構成されているということです。この観察に基づいて、これらの再利用可能なビルディングブロック上の検索スペースを定義し、これらのブロックの適切な組み合わせを検索することにより、防御が未知の特定のモデルに対する効果的な攻撃を自動的に発見する拡張可能なフレームワークを提示します。 23の敵対的防御についてフレームワークを評価し、敵対的防御の信頼性の高い評価のための現在の最先端ツールであるAutoAttackよりも優れていることを示しました。発見された攻撃はより強力で、3.0%〜50.8%の追加の敵対的例を生成します(10ケース)、または同様の敵対的な堅牢性を享受しながら、通常は2倍高速です(13ケース)。
Reliable evaluation of adversarial defenses is a challenging task, currently limited to an expert who manually crafts attacks that exploit the defense's inner workings, or to approaches based on ensemble of fixed attacks, none of which may be effective for the specific defense at hand. Our key observation is that custom attacks are composed from a set of reusable building blocks, such as fine-tuning relevant attack parameters, network transformations, and custom loss functions. Based on this observation, we present an extensible framework that defines a search space over these reusable building blocks and automatically discovers an effective attack on a given model with an unknown defense by searching over suitable combinations of these blocks. We evaluated our framework on 23 adversarial defenses and showed it outperforms AutoAttack, the current state-of-the-art tool for reliable evaluation of adversarial defenses: our discovered attacks are either stronger, producing 3.0%-50.8% additional adversarial examples (10 cases), or are typically 2x faster while enjoying similar adversarial robustness (13 cases).