AIベースの医療機器が放射線学や組織学などの画像分野で一般的になりつつあるため、基礎となる予測モデルの解釈可能性は、臨床診療での使用を拡大するために重要です。 GradCAMなどの既存のヒートマップベースの解釈可能性手法は、予測機能の場所を強調するだけであり、それらが予測にどのように寄与するかについては説明していません。この論文では、異なる予測を生成するために入力画像がどのように変更されるかを示すことにより、画像上のブラックボックスモデルの予測を理解するために使用できる新しい解釈可能性手法を提案します。 StyleGANは、潜在的なベクトルと画像の間のマッピングを提供するために医用画像でトレーニングされます。私たちの方法は、モデル予測に変化をもたらすために潜在空間の最適な方向を特定します。入力画像の潜在表現をこの方向にシフトすることにより、予測が変更された一連の新しい合成画像を生成できます。組織学および放射線画像に対するアプローチを検証し、GradCAMヒートマップよりも有益な意味のある説明を提供する能力を実証します。私たちの方法は、モデルによって学習されたパターンを明らかにします。これにより、臨床医はモデルの予測に対する信頼を構築し、新しいバイオマーカーを発見し、最終的に潜在的なバイアスを明らかにすることができます。
As AI-based medical devices are becoming more common in imaging fields like radiology and histology, interpretability of the underlying predictive models is crucial to expand their use in clinical practice. Existing heatmap-based interpretability methods such as GradCAM only highlight the location of predictive features but do not explain how they contribute to the prediction. In this paper, we propose a new interpretability method that can be used to understand the predictions of any black-box model on images, by showing how the input image would be modified in order to produce different predictions. A StyleGAN is trained on medical images to provide a mapping between latent vectors and images. Our method identifies the optimal direction in the latent space to create a change in the model prediction. By shifting the latent representation of an input image along this direction, we can produce a series of new synthetic images with changed predictions. We validate our approach on histology and radiology images, and demonstrate its ability to provide meaningful explanations that are more informative than GradCAM heatmaps. Our method reveals the patterns learned by the model, which allows clinicians to build trust in the model's predictions, discover new biomarkers and eventually reveal potential biases.