ニューラル ネットワークの敵対的ノイズ (目に見えないデータの悪意のある摂動) に対する堅牢性を向上させる研究は、大きな注目を集めています。堅牢なディープ ニューラル ネットワークを取得するための現在争われていない最先端の防御策は、敵対的トレーニング (AT) ですが、標準的なトレーニングに比べてはるかに多くのリソースを消費し、堅牢性のために精度をトレードオフします。刺激的な最近の研究 [Dapello et al.] は、次のような問題に神経生物学的ツールをもたらすことを目的としています。 [Dapello et al.] 霊長類の一次視覚野 (V1) を模倣する神経の隠れた最初の層と、その後に現在の CNN 視覚モデルから適応されたバックエンド構造を持つネットワーク構造を設計します。小さな摂動でテストすると、標準的なビジョンベンチマークで自明でない敵対的ロバスト性を達成するようです。ここでは、生物学に着想を得たこの研究を再検討し、物理学からインスピレーションを得た原則的なパラメータのない表現が同じ目標を達成できるかどうかを尋ねます。ウェーブレット散乱変換が複雑な V1 皮質を置き換えることができ、単純な均一ガウス ノイズが神経確率の役割を果たし、敵対的ロバスト性を実現できることを発見しました。適応型の敵対的攻撃を使用した CIFAR-10 ベンチマークに関する大規模な実験では、次のことを示しています。 2) フロントエンドの VOneBlock を既製のパラメーターのない Scatternet とそれに続く単純な均一ガウス ノイズに置き換えると、敵対的なトレーニングなしで、はるかに実質的な敵対的ロバスト性を実現できます。私たちの仕事は、物理的に触発された構造が、以前は人間の皮質を細心の注意を払って模倣することによってのみ可能であると考えられていた堅牢性に関する新しい洞察をどのように生み出すかを示しています。
Research on improving the robustness of neural networks to adversarial noise - imperceptible malicious perturbations of the data - has received significant attention. The currently uncontested state-of-the-art defense to obtain robust deep neural networks is Adversarial Training (AT), but it consumes significantly more resources compared to standard training and trades off accuracy for robustness. An inspiring recent work [Dapello et al.] aims to bring neurobiological tools to the question: How can we develop Neural Nets that robustly generalize like human vision? [Dapello et al.] design a network structure with a neural hidden first layer that mimics the primate primary visual cortex (V1), followed by a back-end structure adapted from current CNN vision models. It seems to achieve non-trivial adversarial robustness on standard vision benchmarks when tested on small perturbations. Here we revisit this biologically inspired work, and ask whether a principled parameter-free representation with inspiration from physics is able to achieve the same goal. We discover that the wavelet scattering transform can replace the complex V1-cortex and simple uniform Gaussian noise can take the role of neural stochasticity, to achieve adversarial robustness. In extensive experiments on the CIFAR-10 benchmark with adaptive adversarial attacks we show that: 1) Robustness of VOneBlock architectures is relatively weak (though non-zero) when the strength of the adversarial attack radius is set to commonly used benchmarks. 2) Replacing the front-end VOneBlock by an off-the-shelf parameter-free Scatternet followed by simple uniform Gaussian noise can achieve much more substantial adversarial robustness without adversarial training. Our work shows how physically inspired structures yield new insights into robustness that were previously only thought possible by meticulously mimicking the human cortex.