最近開発された敵対的なウェイトアタック、別名ビットフリップアタック(BFA)は、非常に少量のモデルパラメータの摂動でディープニューラルネットワーク(DNN)のパフォーマンスを損なうことに大きな成功を収めています。この脅威から身を守るために、完全なバイナリ(つまり、重みとアクティブ化の両方)ニューラルネットワーク(BNN)を採用してDNNモデルの堅牢性(精度を低下させるために必要なビットフリップの数として定義)を大幅に改善するRA-BNNを提案します。ランダムな推測と同じくらい低くなります)。ただし、このような攻撃的な低ビット幅モデルでは、クリーンな(つまり、攻撃がない)推論の精度が低くなります。これに対抗するために、Early-Growthという名前の新しい効率的な2段階ネットワーク成長方法を提案します。ガンベルシグモイド関数を使用したチャネルごとのバイナリマスクトレーニングに基づいて、各BNN層のチャネルサイズを選択的に拡大します。推論の精度を回復することとは別に、成長後のRA-BNNは、BFAに対して大幅に高い耐性を示します。 CIFAR-10データセットの評価では、提案されたRA-BNNは、ベースラインBNNと比較してクリーンモデルの精度を約2〜8%向上させると同時に、BFAに対する耐性を125倍以上向上させることができます。さらに、ImageNetでは、ビットフリップの量が十分に多い(たとえば5,000)場合、ベースラインのBNN精度は51.9%から4.3%に低下しますが、RA-BNNの精度は60.9%(9%クリーン)から37.1%に低下します。精度の向上)。
Recently developed adversarial weight attack, a.k.a. bit-flip attack (BFA), has shown enormous success in compromising Deep Neural Network (DNN) performance with an extremely small amount of model parameter perturbation. To defend against this threat, we propose RA-BNN that adopts a complete binary (i.e., for both weights and activation) neural network (BNN) to significantly improve DNN model robustness (defined as the number of bit-flips required to degrade the accuracy to as low as a random guess). However, such an aggressive low bit-width model suffers from poor clean (i.e., no attack) inference accuracy. To counter this, we propose a novel and efficient two-stage network growing method, named Early-Growth. It selectively grows the channel size of each BNN layer based on channel-wise binary masks training with Gumbel-Sigmoid function. Apart from recovering the inference accuracy, our RA-BNN after growing also shows significantly higher resistance to BFA. Our evaluation of the CIFAR-10 dataset shows that the proposed RA-BNN can improve the clean model accuracy by ~2-8 %, compared with a baseline BNN, while simultaneously improving the resistance to BFA by more than 125 x. Moreover, on ImageNet, with a sufficiently large (e.g., 5,000) amount of bit-flips, the baseline BNN accuracy drops to 4.3 % from 51.9 %, while our RA-BNN accuracy only drops to 37.1 % from 60.9 % (9 % clean accuracy improvement).