arXiv reaDer
概念の貢献を空間的に探る:空間活性化概念ベクトルによる隠れ層の解釈
Exploring Concept Contribution Spatially: Hidden Layer Interpretation with Spatial Activation Concept Vector
ディープラーニングモデルを解釈するための主流の1つは、ネットワークによって学習された概念を調査することです。 Concept Activation Vector(TCAV)を使用したテストは、ターゲットクラスへのクエリコンセプト(ユーザー定義のガイダンスイメージで表される)の寄与を定量化するための強力なツールを提供します。たとえば、コンセプトストライプがTCAVを使用したモデル予測ゼブラに寄与するかどうか、およびどの程度寄与するかを定量的に評価できます。したがって、TCAVはディープネットワークの推論プロセスを白くします。そしてそれは診断のような実際的な問題を解決するために適用されました。ただし、ターゲットオブジェクトが領域のごく一部しか占めていない一部の画像では、TCAVは隠れ層全体に基づいてターゲットクラスへの概念の寄与を計算するため、TCAVの評価は冗長な背景機能によって妨げられる可能性があります。この問題に取り組むために、TCAVに基づいて、ターゲットクラスのモデル予測への寄与を評価しながら、クエリコンセプトに関連する空間位置を識別するSpatial Activation Concept Vector(SACV)を提案します。実験は、SACVが隠れ層のよりきめ細かい説明マップを生成し、概念の寄与を空間的に定量化することを示しています。さらに、バックグラウンド機能からの干渉を回避します。コードはhttps://github.com/AntonotnaWang/Spatial-Activation-Concept-Vectorで入手できます。
To interpret deep learning models, one mainstream is to explore the learned concepts by networks. Testing with Concept Activation Vector (TCAV) presents a powerful tool to quantify the contribution of query concepts (represented by user-defined guidance images) to a target class. For example, we can quantitatively evaluate whether and to what extent concept striped contributes to model prediction zebra with TCAV. Therefore, TCAV whitens the reasoning process of deep networks. And it has been applied to solve practical problems such as diagnosis. However, for some images where the target object only occupies a small fraction of the region, TCAV evaluation may be interfered with by redundant background features because TCAV calculates concept contribution to a target class based on a whole hidden layer. To tackle this problem, based on TCAV, we propose Spatial Activation Concept Vector (SACV) which identifies the relevant spatial locations to the query concept while evaluating their contributions to the model prediction of the target class. Experiment shows that SACV generates a more fine-grained explanation map for a hidden layer and quantifies concepts' contributions spatially. Moreover, it avoids interference from background features. The code is available on https://github.com/AntonotnaWang/Spatial-Activation-Concept-Vector.
updated: Sat May 21 2022 15:58:57 GMT+0000 (UTC)
published: Sat May 21 2022 15:58:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト