以前の研究では、整流線形ユニット (ReLU) 活性化関数を使用したニューラル ネットワークが、入力空間の凸多面体分解につながることが示されています。これらの分解は、多面体に対応する頂点と、ファセットを共有する多面体に対応するエッジを持つ双対グラフで表すことができます。これは、ハミング グラフのサブグラフです。このホワイト ペーパーでは、デュアル グラフを利用して、デジタル画像のコンテキストで敵対的攻撃を検出および分析する方法について説明します。画像が ReLU ノードを含むネットワークを通過するとき、ノードでの発火または非発火をビットとしてエンコードできます (ReLU アクティブ化の場合は 1、ReLU 非アクティブ化の場合は 0)。すべてのビット アクティベーションのシーケンスは、イメージをビット ベクトルで識別します。このビット ベクトルは、イメージを分解の多面体で識別し、次に双対グラフの頂点で識別します。非敵対的画像と敵対的画像の間の弁別器である ReLU ビットを特定し、これらの弁別子のコレクションがどれだけうまく投票して敵対的画像検出器を構築できるかを調べます。具体的には、事前トレーニング済みの ResNet-50 アーキテクチャを使用して、敵対的な画像とそれらの非敵対的な画像の ReLU ビット ベクトルの類似点と相違点を調べます。このホワイト ペーパーでは、敵対的デジタル画像、ResNet-50 アーキテクチャ、および ReLU アクティベーション関数に焦点を当てていますが、私たちの方法は、他のネットワーク アーキテクチャ、アクティベーション関数、およびデータセットの種類にまで及びます。
Previous work has shown that a neural network with the rectified linear unit (ReLU) activation function leads to a convex polyhedral decomposition of the input space. These decompositions can be represented by a dual graph with vertices corresponding to polyhedra and edges corresponding to polyhedra sharing a facet, which is a subgraph of a Hamming graph. This paper illustrates how one can utilize the dual graph to detect and analyze adversarial attacks in the context of digital images. When an image passes through a network containing ReLU nodes, the firing or non-firing at a node can be encoded as a bit (1 for ReLU activation, 0 for ReLU non-activation). The sequence of all bit activations identifies the image with a bit vector, which identifies it with a polyhedron in the decomposition and, in turn, identifies it with a vertex in the dual graph. We identify ReLU bits that are discriminators between non-adversarial and adversarial images and examine how well collections of these discriminators can ensemble vote to build an adversarial image detector. Specifically, we examine the similarities and differences of ReLU bit vectors for adversarial images, and their non-adversarial counterparts, using a pre-trained ResNet-50 architecture. While this paper focuses on adversarial digital images, ResNet-50 architecture, and the ReLU activation function, our methods extend to other network architectures, activation functions, and types of datasets.