arXiv reaDer
Excessive Invariance Causes Adversarial Vulnerability
印象的なパフォーマンスにもかかわらず、ディープニューラルネットワークは、配信範囲外の入力に著しい障害を示します。敵対的な事例研究の中心的なアイデアの1つは、このような分布の変化の下でのニューラルネットワークエラーを明らかにすることです。これらの誤差は、感度と不変性の2つの補完的な原因に分解されます。深いネットワークは、イプシロン敵対的な例からよく知られているように、入力のタスクに関連しない変更に敏感すぎるだけでなく、広範囲のタスクに関連する変更に対しても不変であり、したがって入力に広域を作ることを示しています敵対的攻撃に対して脆弱なスペース。このような過度の不変性は、さまざまなタスクやアーキテクチャタイプで発生することを示しています。 MNISTとImageNetでは、非表示のアクティベーションを変更せずに、ほとんどすべての画像のクラス固有のコンテンツを操作できます。これらの失敗の理由として、標準的なクロスエントロピー損失の不足を特定します。さらに、情報理論的分析に基づいてこの目的を拡張し、モデルがその決定においてすべてのタスク依存機能を考慮することを奨励します。これは、過度の不変性とその結果生じる脆弱性を克服するために明示的に調整された最初のアプローチを提供します。
Despite their impressive performance, deep neural networks exhibit striking failures on out-of-distribution inputs. One core idea of adversarial example research is to reveal neural network errors under such distribution shifts. We decompose these errors into two complementary sources: sensitivity and invariance. We show deep networks are not only too sensitive to task-irrelevant changes of their input, as is well-known from epsilon-adversarial examples, but are also too invariant to a wide range of task-relevant changes, thus making vast regions in input space vulnerable to adversarial attacks. We show such excessive invariance occurs across various tasks and architecture types. On MNIST and ImageNet one can manipulate the class-specific content of almost any image without changing the hidden activations. We identify an insufficiency of the standard cross-entropy loss as a reason for these failures. Further, we extend this objective based on an information-theoretic analysis so it encourages the model to consider all task-dependent features in its decision. This provides the first approach tailored explicitly to overcome excessive invariance and resulting vulnerabilities.
updated: Sun Jul 12 2020 07:26:06 GMT+0000 (UTC)
published: Thu Nov 01 2018 14:14:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト