arXiv reaDer
アルツハイマー病のマルチモーダル診断のためのグローバルおよびローカル認識GAN(GLA-GAN)を使用したMRIからPETへのクロスモダリティ変換
MRI to PET Cross-Modality Translation using Globally and Locally Aware GAN (GLA-GAN) for Multi-Modal Diagnosis of Alzheimer's Disease
医用画像データセットは本質的に高次元であり、変動が大きく、サンプルサイズが小さいため、深層学習アルゴリズムの有効性が制限されます。最近、現実主義的な画像を合成する能力を備えた生成的敵対的ネットワーク(GAN)が、標準的なデータ拡張手法の代替として大きな可能性を示しています。私たちの仕事は、アルツハイマー病(AD)のマルチモーダル診断を容易にするために、生成モデルを使用した構造的磁気共鳴〜(MR)画像からのフルオロデオキシグルコース〜(FDG)陽電子放出断層撮影〜(PET)スキャンのクロスモダリティ合成に焦点を当てています。具体的には、グローバルな構造的整合性とローカルの詳細への忠実性の両方を強制するマルチパスアーキテクチャを備えた、新しいエンドツーエンドのグローバルおよびローカル認識の画像から画像への変換GAN(GLA-GAN)を提案します。さらに、標準的な敵対的損失を、ボクセルレベルの強度、マルチスケール構造類似性(MS-SSIM)、および再構築エラーを減らし、さまざまなスケールで構造の一貫性を強制し、それぞれADに対する地域の感受性。実験結果は、GLA-GANが、画質が向上した合成FDG-PETスキャンを生成するだけでなく、最先端のモデルと比較してAD診断の改善に優れた臨床的有用性をもたらすことを示しています。最後に、この特定のクロスモダリティ生成タスクに密接に関連するGANの内部ユニットのいくつかを解釈しようとします。
Medical imaging datasets are inherently high dimensional with large variability and low sample sizes that limit the effectiveness of deep learning algorithms. Recently, generative adversarial networks (GANs) with the ability to synthesize realist images have shown great potential as an alternative to standard data augmentation techniques. Our work focuses on cross-modality synthesis of fluorodeoxyglucose~(FDG) Positron Emission Tomography~(PET) scans from structural Magnetic Resonance~(MR) images using generative models to facilitate multi-modal diagnosis of Alzheimer's disease (AD). Specifically, we propose a novel end-to-end, globally and locally aware image-to-image translation GAN (GLA-GAN) with a multi-path architecture that enforces both global structural integrity and fidelity to local details. We further supplement the standard adversarial loss with voxel-level intensity, multi-scale structural similarity (MS-SSIM) and region-of-interest (ROI) based loss components that reduce reconstruction error, enforce structural consistency at different scales and perceive variation in regional sensitivity to AD respectively. Experimental results demonstrate that our GLA-GAN not only generates synthesized FDG-PET scans with enhanced image quality but also superior clinical utility in improving AD diagnosis compared to state-of-the-art models. Finally, we attempt to interpret some of the internal units of the GAN that are closely related to this specific cross-modality generation task.
updated: Wed Aug 04 2021 16:38:33 GMT+0000 (UTC)
published: Wed Aug 04 2021 16:38:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト