説明方法は、意味のある概念を学習し、疑似相関の悪用を回避するモデルの開発を容易にします。一般的なニューラルネットワークの説明方法であるGrad-CAMのこれまで認識されていなかった制限について説明します。勾配平均化ステップの副作用として、Grad-CAMはモデルが実際に使用しなかった場所を強調表示することがあります。この問題を解決するために、モデルが各予測を行うために使用した場所のみを強調表示することが保証されている、新しいクラス固有の説明方法であるHiResCAMを提案します。 HiResCAMがCAMの一般化であることを証明し、HiResCAMと他の勾配ベースの説明方法との関係を調査します。クラウドソーシングによる評価を含むPASCALVOC 2012の実験は、HiResCAMの説明がモデルを忠実に反映している一方で、Grad-CAMは多くの場合、より大きく滑らかな視覚化を作成するために注意を拡大することを示しています。全体として、この作業は畳み込みニューラルネットワークの説明アプローチを進歩させ、機密性の高いアプリケーション向けの信頼できるモデルの開発に役立つ可能性があります。
Explanation methods facilitate the development of models that learn meaningful concepts and avoid exploiting spurious correlations. We illustrate a previously unrecognized limitation of the popular neural network explanation method Grad-CAM: as a side effect of the gradient averaging step, Grad-CAM sometimes highlights locations the model did not actually use. To solve this problem, we propose HiResCAM, a novel class-specific explanation method that is guaranteed to highlight only the locations the model used to make each prediction. We prove that HiResCAM is a generalization of CAM and explore the relationships between HiResCAM and other gradient-based explanation methods. Experiments on PASCAL VOC 2012, including crowd-sourced evaluations, illustrate that while HiResCAM's explanations faithfully reflect the model, Grad-CAM often expands the attention to create bigger and smoother visualizations. Overall, this work advances convolutional neural network explanation approaches and may aid in the development of trustworthy models for sensitive applications.