臨床エンドユーザーに予測を説明できることは、臨床意思決定支援のためにAIモデルの力を活用するために必要です。医用画像の場合、顕著性マップが最も一般的な説明形式です。マップは、AIモデルの予測の重要な機能を強調しています。多くの顕著性マップ法が提案されていますが、各モダリティ/チャネルが同じ根本的な生物医学的現象の異なる臨床的意味を持っているマルチモーダル医用画像の決定を説明する上でそれらがどれほどうまく機能するかは不明です。このようなモダリティに依存する機能を理解することは、臨床ユーザーがAIの決定を解釈するために不可欠です。この臨床的に重要であるが技術的に無視されている問題に取り組むために、MSFI(モダリティ固有の特徴重要性)メトリックを提案して、顕著性マップがモダリティ固有の重要な機能を強調できるかどうかを調べます。 MSFIは、モダリティの優先順位付けとモダリティ固有の機能のローカリゼーションに関する臨床要件をエンコードします。臨床医のユーザー調査を含む、一般的に使用される16の顕著性マップ手法に関する評価では、ほとんどの顕著性マップ手法は一般にモダリティの重要性情報を取得しましたが、それらのほとんどはモダリティ固有の重要な機能を一貫して正確に強調できなかったことが示されています。評価結果は、顕著性マップ手法の選択をガイドし、臨床応用を対象とした新しい手法を提案するための洞察を提供します。
Being able to explain the prediction to clinical end-users is a necessity to leverage the power of AI models for clinical decision support. For medical images, saliency maps are the most common form of explanation. The maps highlight important features for AI model's prediction. Although many saliency map methods have been proposed, it is unknown how well they perform on explaining decisions on multi-modal medical images, where each modality/channel carries distinct clinical meanings of the same underlying biomedical phenomenon. Understanding such modality-dependent features is essential for clinical users' interpretation of AI decisions. To tackle this clinically important but technically ignored problem, we propose the MSFI (Modality-Specific Feature Importance) metric to examine whether saliency maps can highlight modality-specific important features. MSFI encodes the clinical requirements on modality prioritization and modality-specific feature localization. Our evaluations on 16 commonly used saliency map methods, including a clinician user study, show that although most saliency map methods captured modality importance information in general, most of them failed to highlight modality-specific important features consistently and precisely. The evaluation results guide the choices of saliency map methods and provide insights to propose new ones targeting clinical applications.