arXiv reaDer
Interpreting Adversarial Examples by Activation Promotion and Suppression
  畳み込みニューラルネットワーク(CNN)は、敵対的な例(分類器を欺くために作成された知覚できない摂動を伴う画像)に対して脆弱であることが広く知られています。ただし、これらの摂動の解釈可能性は、文献ではあまり検討されていません。この作業は、敵対的摂動の役割をよりよく理解し、ピクセル、画像、およびネットワークの観点から視覚的な説明を提供することを目的としています。敵はニューロンの活性化に対してプロモーション抑制効果(PSE)を持ち、主に次の3つのタイプに分類できることを示します。i)主に真のラベルの分類スコアを低下させる抑制支配の摂動、ii)プロモーション支配の摂動ターゲットラベルの信頼度を高めることに焦点を当て、iii)抑制と促進に二重の役割を果たすバランスのとれた摂動。また、敵対的な例の画像レベルの解釈可能性も提供します。これは、ピクセルレベルの摂動のPSEを、クラスアクティベーションマッピングによってローカライズされたクラス固有の識別画像領域にリンクします(Zhou et al。2016)。さらに、隠れたユニットの概念レベルの解釈可能性を提供するネットワーク解剖(Bau et al。2017)による敵対効果を調べます。敵の攻撃に対するユニットの感度と、セマンティックコンセプトの解釈可能性との間に密接な関係があることを示します。最後に、ネットワークの敵対的堅牢性を改善するための解釈からいくつかの新しい洞察を提供します。
It is widely known that convolutional neural networks (CNNs) are vulnerable to adversarial examples: images with imperceptible perturbations crafted to fool classifiers. However, interpretability of these perturbations is less explored in the literature. This work aims to better understand the roles of adversarial perturbations and provide visual explanations from pixel, image and network perspectives. We show that adversaries have a promotion-suppression effect (PSE) on neurons' activations and can be primarily categorized into three types: i) suppression-dominated perturbations that mainly reduce the classification score of the true label, ii) promotion-dominated perturbations that focus on boosting the confidence of the target label, and iii) balanced perturbations that play a dual role in suppression and promotion. We also provide image-level interpretability of adversarial examples. This links PSE of pixel-level perturbations to class-specific discriminative image regions localized by class activation mapping (Zhou et al. 2016). Further, we examine the adversarial effect through network dissection (Bau et al. 2017), which offers concept-level interpretability of hidden units. We show that there exists a tight connection between the units' sensitivity to adversarial attacks and their interpretability on semantic concepts. Lastly, we provide some new insights from our interpretation to improve the adversarial robustness of networks.
updated: Mon Sep 30 2019 18:32:03 GMT+0000 (UTC)
published: Wed Apr 03 2019 15:25:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト