arXiv reaDer
ディープネットワークを使用した説明可能な教師なしマルチモーダル画像登録
Explainable unsupervised multi-modal image registration using deep networks
磁気共鳴画像法 (MRI) からの臨床意思決定は、複数の MRI シーケンス (「モダリティ」として定義) からの相補的な情報を組み合わせます。 MRI 画像登録は、さまざまなモダリティ、時点、スライスからの診断を幾何学的に「ペア」にすることを目的としています。モダリティ内およびモダリティ間での MRI 登録は、臨床 MRI 設定において不可欠な要素です。さらに、実際の MRI データ シナリオでは両方のタイプの変形が発生する可能性があるため、微細レジストレーションと非剛体レジストレーションの両方に対応できる MRI 画像処理パイプラインが重要です。画像分類とは異なり、画像登録深層学習 (DL) 手法では説明可能性は一般的に扱われません。これは、変換フィールドに対してモデル データの動作を相互作用させることが困難であるためです。これに適切に対処するために、教師なしマルチモーダルおよびマルチ臓器画像レジストレーション DL 手法の各主要コンポーネントに Grad-CAM ベースの説明可能フレームワークを組み込みます。以前に、(現在の標準 Syn メソッドに対して) 優れたパフォーマンスを達成できることを実証しました。この研究では、DL モデルが完全に説明可能になり、さらなる医療画像データに対するアプローチを一般化するためのフレームワークを設定することを示します。
Clinical decision making from magnetic resonance imaging (MRI) combines complementary information from multiple MRI sequences (defined as 'modalities'). MRI image registration aims to geometrically 'pair' diagnoses from different modalities, time points and slices. Both intra- and inter-modality MRI registration are essential components in clinical MRI settings. Further, an MRI image processing pipeline that can address both afine and non-rigid registration is critical, as both types of deformations may be occuring in real MRI data scenarios. Unlike image classification, explainability is not commonly addressed in image registration deep learning (DL) methods, as it is challenging to interpet model-data behaviours against transformation fields. To properly address this, we incorporate Grad-CAM-based explainability frameworks in each major component of our unsupervised multi-modal and multi-organ image registration DL methodology. We previously demonstrated that we were able to reach superior performance (against the current standard Syn method). In this work, we show that our DL model becomes fully explainable, setting the framework to generalise our approach on further medical imaging data.
updated: Thu Aug 03 2023 19:13:48 GMT+0000 (UTC)
published: Thu Aug 03 2023 19:13:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト