arXiv reaDer
Quantification and Analysis of Layer-wise and Pixel-wise Information Discarding
この論文では、各入力変数の情報がディープニューラルネットワーク(DNN)での順伝播中に徐々に破棄される方法を説明する方法を紹介します。これにより、DNNを説明するための新しい視点が提供されます。 2種類のエントロピーベースのメトリックを定義します。つまり、(1)順伝播で使用されるピクセル単位の情報の破棄、および(2)入力再構成の不確実性で、特定のレイヤーに含まれる入力情報を2つの観点から測定します。 。以前のアトリビューションメトリックとは異なり、提案されたメトリックは、異なるDNNの異なるレイヤー間の比較の公平性を保証します。これらのメトリックを使用して、DNNのパフォーマンスとの強いつながりを示すDNNでの情報処理の効率を分析できます。ピクセル単位で情報の破棄を分析します。これは、サンプル分布で特徴情報を測定する情報ボトルネック理論とは異なります。実験により、従来のDNNを分析し、既存の深層学習手法を説明する際の指標の有効性が示されました。
This paper presents a method to explain how the information of each input variable is gradually discarded during the forward propagation in a deep neural network (DNN), which provides new perspectives to explain DNNs. We define two types of entropy-based metrics, i.e. (1) the discarding of pixel-wise information used in the forward propagation, and (2) the uncertainty of the input reconstruction, to measure input information contained by a specific layer from two perspectives. Unlike previous attribution metrics, the proposed metrics ensure the fairness of comparisons between different layers of different DNNs. We can use these metrics to analyze the efficiency of information processing in DNNs, which exhibits strong connections to the performance of DNNs. We analyze information discarding in a pixel-wise manner, which is different from the information bottleneck theory measuring feature information w.r.t. the sample distribution. Experiments have shown the effectiveness of our metrics in analyzing classic DNNs and explaining existing deep-learning techniques.
updated: Mon Jun 13 2022 16:25:18 GMT+0000 (UTC)
published: Mon Jun 10 2019 16:33:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト