arXiv reaDer
Relative Attributing Propagation: Interpreting the Comparative Contributions of Individual Units in Deep Neural Networks
 ディープニューラルネットワーク(DNN)がさまざまな分野で超人的なパフォーマンスを実証しているように、DNNの複雑な内部メカニズムを理解することに関心が高まっています。この論文では、レイヤー間の相対的な影響に応じて関連(肯定)属性と無関係(否定)属性を分離するという新しい視点でDNNの出力予測を分解する相対属性伝播(RAP)を提案します。各ニューロンの関連性は、保存のルールを維持しながら、貢献度に関して特定され、正と負に分けられます。相対的な優先度の観点からニューロンに割り当てられた関連性を考慮すると、RAPでは、出力に関する双極性の重要度スコアを各ニューロンに割り当てることができます。したがって、我々の方法は、従来の説明方法よりも明確で注意深い分離された属性の視覚化でDNNを解釈することを可能にします。 RAPによって伝播された属性がそれぞれの意味を正しく説明していることを確認するために、評価指標を利用します:(i)外部と内部の関連性比、(ii)セグメンテーションmIOU、(iii)領域摂動。すべての実験と測定基準で、既存の文献と比較してかなりのギャップがあります。ソースコードはで入手できます。
As Deep Neural Networks (DNNs) have demonstrated superhuman performance in a variety of fields, there is an increasing interest in understanding the complex internal mechanisms of DNNs. In this paper, we propose Relative Attributing Propagation (RAP), which decomposes the output predictions of DNNs with a new perspective of separating the relevant (positive) and irrelevant (negative) attributions according to the relative influence between the layers. The relevance of each neuron is identified with respect to its degree of contribution, separated into positive and negative, while preserving the conservation rule. Considering the relevance assigned to neurons in terms of relative priority, RAP allows each neuron to be assigned with a bi-polar importance score concerning the output: from highly relevant to highly irrelevant. Therefore, our method makes it possible to interpret DNNs with much clearer and attentive visualizations of the separated attributions than the conventional explaining methods. To verify that the attributions propagated by RAP correctly account for each meaning, we utilize the evaluation metrics: (i) Outside-inside relevance ratio, (ii) Segmentation mIOU and (iii) Region perturbation. In all experiments and metrics, we present a sizable gap in comparison to the existing literature. Our source code is available in
updated: Wed Nov 13 2019 07:27:10 GMT+0000 (UTC)
published: Mon Apr 01 2019 07:24:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト