arXiv reaDer
Full-Gradient Representation for Neural Network Visualization
 ニューラルネットの応答、つまりフルグラディエントを解釈するための新しいツールを導入します。これは、ニューラルネットの応答を入力感度成分とニューロンごとの感度成分に分解します。これは、完全性と弱い依存性という2つの主要な特性を満たす最初に提案された表現です。これらは、顕著性マップに基づく解釈可能性の方法では満足できない可能性があります。畳み込みネットの場合、フルグラディエントコンポーネントを集約することによって取得された、FullGradと呼ばれる近似的な顕著性マップ表現も提案します。 FullGradの有用性を実験的に評価して、ピクセルの摂動と除去と再トレーニングという2つの定量的テストでモデルの動作を説明します。我々の実験は、我々の方法がモデルの挙動を正確に説明し、文献の他の方法よりも包括的に説明していることを明らかにしています。また、目視検査により、顕著性マップは他の方法よりもシャープで、オブジェクト領域により厳密に限定されていることがわかります。
We introduce a new tool for interpreting neural net responses, namely full-gradients, which decomposes the neural net response into input sensitivity and per-neuron sensitivity components. This is the first proposed representation which satisfies two key properties: completeness and weak dependence, which provably cannot be satisfied by any saliency map-based interpretability method. For convolutional nets, we also propose an approximate saliency map representation, called FullGrad, obtained by aggregating the full-gradient components. We experimentally evaluate the usefulness of FullGrad in explaining model behaviour with two quantitative tests: pixel perturbation and remove-and-retrain. Our experiments reveal that our method explains model behaviour correctly, and more comprehensively than other methods in the literature. Visual inspection also reveals that our saliency maps are sharper and more tightly confined to object regions than other methods.
updated: Tue Dec 03 2019 13:59:05 GMT+0000 (UTC)
published: Thu May 02 2019 14:41:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト