ディープニューラルネットワークの解釈と改善は、その根底にあるメカニズムのより良い理解に依存しています。特に、入力特徴(たとえば、画像内のピクセル)に関するクラスまたは概念の勾配は、顕著性マップで視覚化される重要度スコアまたは推定量としてよく使用されます。したがって、顕著性メソッドのファミリーは、分類または潜在的な概念に実質的な影響を与える入力特徴を識別するための直感的な方法を提供します。 RectifiedGradientsやLayer-wiseRelevance Propagation(LRP)など、従来の顕著性マップにいくつかの変更を加えて、ノイズを除去し、解釈可能性を向上させたとされています。特定のケースでは視覚的にコヒーレントですが、Rectified Gradientsやその他の修正された顕著性マップは、入力機能の不適切な使用のために強い入力バイアス(たとえば、RGB空間の明るさ)を導入します。入力画像の暗い領域は、クラスまたは概念に関連している場合でも、RectifiedGradientsを使用した顕著性マップによって強調表示されないことを示します。スケーリングされた画像でも、入力バイアスはカラースペクトルの人工的なポイントの周りに存在します。入力機能との乗算を単純に排除するこの変更により、このバイアスが排除されます。これは、視覚的な基準が深層学習モデルの真の説明可能性とどのように一致しないかを示しています。
Interpretation and improvement of deep neural networks relies on better understanding of their underlying mechanisms. In particular, gradients of classes or concepts with respect to the input features (e.g., pixels in images) are often used as importance scores or estimators, which are visualized in saliency maps. Thus, a family of saliency methods provide an intuitive way to identify input features with substantial influences on classifications or latent concepts. Several modifications to conventional saliency maps, such as Rectified Gradients and Layer-wise Relevance Propagation (LRP), have been introduced to allegedly denoise and improve interpretability. While visually coherent in certain cases, Rectified Gradients and other modified saliency maps introduce a strong input bias (e.g., brightness in the RGB space) because of inappropriate uses of the input features. We demonstrate that dark areas of an input image are not highlighted by a saliency map using Rectified Gradients, even if it is relevant for the class or concept. Even in the scaled images, the input bias exists around an artificial point in color spectrum. Our modification, which simply eliminates multiplication with input features, removes this bias. This showcases how a visual criteria may not align with true explainability of deep learning models.