このホワイト ペーパーでは、概念ベースの説明者から抽出された概念に基づいて意思決定ツリーをトレーニングすることで、畳み込みニューラル ネットワーク (CNN) モデルの解釈可能性が向上し、使用される説明者の忠実度とパフォーマンスが向上するかどうかを評価します。コンピューター ビジョン用の CNN は、重要な業界で卓越したパフォーマンスを発揮しています。ただし、CNN の複雑さと解釈可能性の欠如により、CNN を展開する際の大きな障壁となります。コンピューター ビジョン モデルを説明するための最近の研究は、低レベルの特徴の抽出 (ピクセル ベースの説明) から中レベルまたは高レベルの特徴の抽出 (概念ベースの説明) に移行しています。現在の研究の方向性は、元のモデルを解釈するために、線形または決定木モデルなどの近似アルゴリズムを開発する際に、抽出された特徴を使用する傾向があります。この作業では、最先端の概念ベースの説明の 1 つを変更し、TreeICE という名前の代替フレームワークを提案します。忠実度 (元のモデルのラベルに近似モデル)、パフォーマンス (グラウンド トゥルース ラベルに近似モデル)、および解釈可能性 (人間にとって近似モデルの意味) の要件に基づいて、体系的な評価を設計します。コンピューターによる評価 (忠実度とパフォーマンス) と人間を対象とした実験 (解釈可能性) を実施します。Tree-ICE は解釈可能性のベースラインよりも優れており、人間が読みやすい説明をセマンティック ツリー構造の形式で生成することがわかりました。この作品は、解釈可能性が重要な場合に、よりわかりやすい説明を行うことがいかに重要であるかを特徴としています。
This paper evaluates whether training a decision tree based on concepts extracted from a concept-based explainer can increase interpretability for Convolutional Neural Networks (CNNs) models and boost the fidelity and performance of the used explainer. CNNs for computer vision have shown exceptional performance in critical industries. However, it is a significant barrier when deploying CNNs due to their complexity and lack of interpretability. Recent studies to explain computer vision models have shifted from extracting low-level features (pixel-based explanations) to mid-or high-level features (concept-based explanations). The current research direction tends to use extracted features in developing approximation algorithms such as linear or decision tree models to interpret an original model. In this work, we modify one of the state-of-the-art concept-based explanations and propose an alternative framework named TreeICE. We design a systematic evaluation based on the requirements of fidelity (approximate models to original model's labels), performance (approximate models to ground-truth labels), and interpretability (meaningful of approximate models to humans). We conduct computational evaluation (for fidelity and performance) and human subject experiments (for interpretability) We find that Tree-ICE outperforms the baseline in interpretability and generates more human readable explanations in the form of a semantic tree structure. This work features how important to have more understandable explanations when interpretability is crucial.