深層畳み込みニューラル ネットワーク (略して DCNN) モデルは、摂動が小さい例に対して脆弱です。敵対的トレーニング (略して AT) は、データ拡張によって DCNN モデルの堅牢性を強化するために広く使用されているアプローチです。 AT では、DCNN モデルは、目に見えない AE に直面したときに自分自身を防御する能力を獲得することを目的として、特定の攻撃方法を使用して生成されたクリーンな例と敵対的な例 (略して AE) でトレーニングされます。ただし、実際には、訓練された DCNN モデルは、新しい攻撃方法によって生成された AE によってだまされることがよくあります。これは当然疑問を投げかけます: DCNN モデルは、小さな摂動に影響されない特定の機能を学習し、どんな攻撃方法が提示されてもそれ自体をさらに防御できますか?この質問に答えるために、このホワイト ペーパーでは、一般的なバックボーンに統合できる浅いバイナリ機能モジュール (略して SBFM) を提案することから始めます。 SBFM には、Sobel 層としきい値層の 2 種類の層があります。ソーベル層には、それぞれ水平、垂直、および斜めのエッジ機能を表す 4 つの並列機能マップがあります。また、しきい値レイヤーでは、ソーベル レイヤーによって学習されたエッジ フィーチャがバイナリ フィーチャに変換されます。バイナリ フィーチャは、バックボーンによって学習されたフィーチャを使用して分類するために、完全に接続されたレイヤーにフィードされます。 SBFM をそれぞれ VGG16 と ResNet34 に統合し、複数のデータセットで実験を行います。実験結果は、ε=8/255 の FGSM 攻撃の下で、SBFM 統合モデルは元のモデルよりも平均 35% 高い精度を達成でき、CIFAR-10 および TinyImageNet データセットでは、SBFM 統合モデルは平均 75% の分類精度を達成できることを示しています。 .この論文の研究は、特徴学習を通じて DCNN モデルのロバスト性を強化することが有望であることを示しています。
Deep convolutional neural network (DCNN for short) models are vulnerable to examples with small perturbations. Adversarial training (AT for short) is a widely used approach to enhance the robustness of DCNN models by data augmentation. In AT, the DCNN models are trained with clean examples and adversarial examples (AE for short) which are generated using a specific attack method, aiming to gain ability to defend themselves when facing the unseen AEs. However, in practice, the trained DCNN models are often fooled by the AEs generated by the novel attack methods. This naturally raises a question: can a DCNN model learn certain features which are insensitive to small perturbations, and further defend itself no matter what attack methods are presented. To answer this question, this paper makes a beginning effort by proposing a shallow binary feature module (SBFM for short), which can be integrated into any popular backbone. The SBFM includes two types of layers, i.e., Sobel layer and threshold layer. In Sobel layer, there are four parallel feature maps which represent horizontal, vertical, and diagonal edge features, respectively. And in threshold layer, it turns the edge features learnt by Sobel layer to the binary features, which then are feeded into the fully connected layers for classification with the features learnt by the backbone. We integrate SBFM into VGG16 and ResNet34, respectively, and conduct experiments on multiple datasets. Experimental results demonstrate, under FGSM attack with ϵ=8/255, the SBFM integrated models can achieve averagely 35% higher accuracy than the original ones, and in CIFAR-10 and TinyImageNet datasets, the SBFM integrated models can achieve averagely 75% classification accuracy. The work in this paper shows it is promising to enhance the robustness of DCNN models through feature learning.