この論文では、DNNが新しい視点、つまり画像内のピクセル間のゲーム理論的な多次相互作用から、さまざまな複雑さの視覚的概念をどのようにエンコードするかを再考します。オブジェクトのカテゴリ分類法とテクスチャと形状の認知分類法を超えて、視覚概念の新しい分類法を提供します。これは、概念の複雑さの観点から、形状とテクスチャのエンコーディングを解釈するのに役立ちます。このように、多次相互作用に基づいて、テクスチャをエンコードするDNNの3つの特徴的な信号処理動作を見つけます。さらに、DNNが形状をエンコードする柔軟性は、テクスチャをエンコードする柔軟性よりも低いこともわかりました。さらに、DNNが外れ値のサンプルをエンコードする方法を分析し、ネットワークアーキテクチャが相互作用に与える影響を調査します。さらに、実際のアプリケーションにおける多次相互作用の重要な役割を明確にします。論文が受理されると、コードがリリースされます。
In this paper, we rethink how a DNN encodes visual concepts of different complexities from a new perspective, i.e. the game-theoretic multi-order interactions between pixels in an image. Beyond the categorical taxonomy of objects and the cognitive taxonomy of textures and shapes, we provide a new taxonomy of visual concepts, which helps us interpret the encoding of shapes and textures, in terms of concept complexities. In this way, based on multi-order interactions, we find three distinctive signal-processing behaviors of DNNs encoding textures. Besides, we also discover the flexibility for a DNN to encode shapes is lower than the flexibility of encoding textures. Furthermore, we analyze how DNNs encode outlier samples, and explore the impacts of network architectures on interactions. Additionally, we clarify the crucial role of the multi-order interactions in real-world applications. The code will be released when the paper is accepted.