arXiv reaDer
深い神経ネットワークの帰属のためのSmoothTaylorと統合された勾配の理解
Understanding Integrated Gradients with SmoothTaylor for Deep Neural Network Attribution
ディープニューラルネットワークモデルの帰属方法としての統合勾配は、単純な実装可能性を提供します。しかし、それは解釈のしやすさに影響を与える説明のうるささに悩まされています。 SmoothGrad手法は、ノイズの問題を解決し、勾配ベースの帰属方法の帰属マップを平滑化するために提案されています。この論文では、テイラーの定理の観点から、統合勾配とSmoothGradを橋渡しする新しい理論的概念としてSmoothTaylorを紹介します。 ILSVRC2012 ImageNetオブジェクト認識データセットと、事前にトレーニングされた2つの画像モデルを使用して、画像分類問題にメソッドを適用し、帰属マップを生成します。これらのアトリビューションマップは、感度とノイズレベルの定量的測定を使用して経験的に評価されます。さらに、ノイズスケールのハイパーパラメータ値を最適化するための適応ノイズ処理を提案します。私たちの実験から、SmoothTaylorアプローチと適応ノイズ処理を組み合わせることで、統合勾配と比較して、入力空間の関連ポイントに対するノイズが少なく、感度が高い、より高品質の顕著性マップを生成できることがわかりました。
Integrated Gradients as an attribution method for deep neural network models offers simple implementability. However, it suffers from noisiness of explanations which affects the ease of interpretability. The SmoothGrad technique is proposed to solve the noisiness issue and smoothen the attribution maps of any gradient-based attribution method. In this paper, we present SmoothTaylor as a novel theoretical concept bridging Integrated Gradients and SmoothGrad, from the Taylor's theorem perspective. We apply the methods to the image classification problem, using the ILSVRC2012 ImageNet object recognition dataset, and a couple of pretrained image models to generate attribution maps. These attribution maps are empirically evaluated using quantitative measures for sensitivity and noise level. We further propose adaptive noising to optimize for the noise scale hyperparameter value. From our experiments, we find that the SmoothTaylor approach together with adaptive noising is able to generate better quality saliency maps with lesser noise and higher sensitivity to the relevant points in the input space as compared to Integrated Gradients.
updated: Thu Sep 02 2021 17:57:56 GMT+0000 (UTC)
published: Wed Apr 22 2020 10:43:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト