解釈可能性は、神経画像研究における脳障害の理解を進めるために複雑な深層学習モデルを適用する上で重要な要素です。訓練された分類器の決定プロセスを解釈するために、既存の手法は通常、偏導関数による分類のボクセルごとまたは機能レベルの重要性を定量化するために顕著性マップに依存しています。ある程度のローカリゼーションを提供しているにもかかわらず、これらのマップは、脳障害に関連する変化の特定の意味を通知しないため、神経科学の観点からは人間が理解できません。画像から画像への変換スキームに触発されて、特定の画像をワープして病気のパターンを注入または除去できるシミュレータネットワークをトレーニングすることを提案します。これらのネットワークは、分類器がシミュレートされた画像に対して一貫して増加または減少した予測ロジットを生成するようにトレーニングされています。さらに、条件付き畳み込みに基づいて、すべてのシミュレータを統合モデルに結合することを提案します。アルツハイマー病とアルコール使用障害の影響を視覚化するために、合成データセットと2つの神経画像データセットでトレーニングされた分類器の解釈にアプローチを適用しました。ベースラインアプローチによって生成された顕著性マップと比較して、ワーピングフィールドのヤコビ行列式に基づくシミュレーションと視覚化により、疾患に関連する意味のある理解可能なパターンが明らかになります。
Interpretability is a critical factor in applying complex deep learning models to advance the understanding of brain disorders in neuroimaging studies. To interpret the decision process of a trained classifier, existing techniques typically rely on saliency maps to quantify the voxel-wise or feature-level importance for classification through partial derivatives. Despite providing some level of localization, these maps are not human-understandable from the neuroscience perspective as they do not inform the specific meaning of the alteration linked to the brain disorder. Inspired by the image-to-image translation scheme, we propose to train simulator networks that can warp a given image to inject or remove patterns of the disease. These networks are trained such that the classifier produces consistently increased or decreased prediction logits for the simulated images. Moreover, we propose to couple all the simulators into a unified model based on conditional convolution. We applied our approach to interpreting classifiers trained on a synthetic dataset and two neuroimaging datasets to visualize the effect of the Alzheimer's disease and alcohol use disorder. Compared to the saliency maps generated by baseline approaches, our simulations and visualizations based on the Jacobian determinants of the warping field reveal meaningful and understandable patterns related to the diseases.