動機:従来の画像帰属方法は、ニューラルネットワークの予測を十分に説明するのに苦労しています。予測の説明は、特に医療画像において、誤検出の予測が患者のケアに影響を与える可能性がある場合にAIシステムを展開することによる意図しない結果を回避するために重要です。したがって、モデルの説明可能性と内省のための改善されたモデルを開発する差し迫った必要性があります。特定の問題:新しいアプローチは、入力画像を変換して、予測の原因となる特徴を増減することです。ただし、現在のアプローチはモノリシックであるか、GANに依存しているため、実装が困難です。これらのハードルは、幅広い採用を妨げています。私たちのアプローチ:任意の分類器が与えられた場合、特定の入力画像の潜在的表現を変換して予測に使用される特徴を誇張または削減できる単純なオートエンコーダーと勾配更新(潜在シフト)を提案します。この方法を使用して、胸部X線分類器を研究し、それらの性能を評価します。 2人の放射線科医が240の胸部X線予測を評価し、従来のアトリビューションマップまたは提案された方法を使用してどちらが偽陽性(半分)であるかを特定するリーダー調査を実施します。結果:適度に高い精度のモデルでは、グラウンドトゥルース病理マスクとの重複が少ないことがわかりました。しかし、私たちの読者調査の結果は、これらのモデルが一般的に正しい機能を見ていることを示しています。また、潜在シフトの説明により、ユーザーは、誤検知の予測がわずかに増加するだけで(0.04±1.06)、従来のアプローチ(p = 0.01の5ポイントスケールで0.15±0.95)と比較して、真の陽性の予測に自信を持つことができます。 p = 0.57)。付随するウェブページ:https://mlmed.org/gifsplanationソースコード:https://github.com/mlmed/gifsplanation
Motivation: Traditional image attribution methods struggle to satisfactorily explain predictions of neural networks. Prediction explanation is important, especially in medical imaging, for avoiding the unintended consequences of deploying AI systems when false positive predictions can impact patient care. Thus, there is a pressing need to develop improved models for model explainability and introspection. Specific problem: A new approach is to transform input images to increase or decrease features which cause the prediction. However, current approaches are difficult to implement as they are monolithic or rely on GANs. These hurdles prevent wide adoption. Our approach: Given an arbitrary classifier, we propose a simple autoencoder and gradient update (Latent Shift) that can transform the latent representation of a specific input image to exaggerate or curtail the features used for prediction. We use this method to study chest X-ray classifiers and evaluate their performance. We conduct a reader study with two radiologists assessing 240 chest X-ray predictions to identify which ones are false positives (half are) using traditional attribution maps or our proposed method. Results: We found low overlap with ground truth pathology masks for models with reasonably high accuracy. However, the results from our reader study indicate that these models are generally looking at the correct features. We also found that the Latent Shift explanation allows a user to have more confidence in true positive predictions compared to traditional approaches (0.15±0.95 in a 5 point scale with p=0.01) with only a small increase in false positive predictions (0.04±1.06 with p=0.57). Accompanying webpage: https://mlmed.org/gifsplanation Source code: https://github.com/mlmed/gifsplanation