機械学習の新たな分野として、Explainable AI(XAI)は、畳み込みニューラルネットワーク(CNN)による決定の解釈において卓越したパフォーマンスを提供してきました。 CNNの視覚的な説明を実現するために、クラスアクティベーションマッピングとランダム化された入力サンプリングに基づくメソッドが非常に人気があります。ただし、これらの手法に基づく帰属方法では、解像度が低く、説明マップがぼやけて、説明力が制限されます。この問題を回避するために、さまざまなレイヤーに基づく視覚化が求められています。この作業では、アトリビューションベースの入力サンプリング手法に基づいてモデルの複数のレイヤーから視覚化マップを収集し、それらを集約して、きめ細かく完全な説明に到達します。また、CNNベースのモデルのファミリー全体に適用されるレイヤー選択戦略を提案します。これに基づいて、抽出フレームワークを適用して、モデルの各畳み込みブロックの最後のレイヤーを視覚化します。さらに、表現された帰属を強化するために、導出された低レベルの情報の有効性の経験的分析を実行します。グラウンドトゥルースとモデルトゥルースベースの評価指標の両方を使用して、自然データセットと産業データセットでトレーニングされた浅いモデルと深いモデルで実施された包括的な実験は、説明能力と説明するオブジェクトやインスタンスのサイズに関係なく、私たちの方法が安定性を示すことを示す視覚的品質。
As an emerging field in Machine Learning, Explainable AI (XAI) has been offering remarkable performance in interpreting the decisions made by Convolutional Neural Networks (CNNs). To achieve visual explanations for CNNs, methods based on class activation mapping and randomized input sampling have gained great popularity. However, the attribution methods based on these techniques provide lower resolution and blurry explanation maps that limit their explanation power. To circumvent this issue, visualization based on various layers is sought. In this work, we collect visualization maps from multiple layers of the model based on an attribution-based input sampling technique and aggregate them to reach a fine-grained and complete explanation. We also propose a layer selection strategy that applies to the whole family of CNN-based models, based on which our extraction framework is applied to visualize the last layers of each convolutional block of the model. Moreover, we perform an empirical analysis of the efficacy of derived lower-level information to enhance the represented attributions. Comprehensive experiments conducted on shallow and deep models trained on natural and industrial datasets, using both ground-truth and model-truth based evaluation metrics validate our proposed algorithm by meeting or outperforming the state-of-the-art methods in terms of explanation ability and visual quality, demonstrating that our method shows stability regardless of the size of objects or instances to be explained.