arXiv reaDer
MRI画像合成のための特徴解きほぐしを伴う深層学習ベースのマルチモーダルコンピューティング
Deep Learning based Multi-modal Computing with Feature Disentanglement for MRI Image Synthesis
目的:診断の必要性のために物理的レベルから異なる病理学的情報を提示するには、同じ解剖学的構造の異なる磁気共鳴画像法(MRI)モダリティが必要です。しかし、時間の消費やコストの高さなどの制限により、患者のフルシーケンスMRI画像を取得することはしばしば困難です。この作業の目的は、高精度のターゲットMRIシーケンス予測のアルゴリズムを開発し、臨床診断のためのより多くの情報を提供することです。方法:特徴解きほぐし戦略を用いたMRI合成のための深層学習ベースのマルチモーダルコンピューティングモデルを提案します。さまざまなモダリティによって提供される補足情報を最大限に活用するために、マルチモーダルMRIシーケンスが入力として利用されます。特に、提案されたアプローチは、各入力モダリティを共有情報を備えたモダリティ不変空間と特定の情報を備えたモダリティ固有空間に分解し、入力データを効果的に処理するために特徴が別々に抽出されるようにします。続いて、それらの両方がデコーダーの適応インスタンス正規化(AdaIN)レイヤーを介して融合されます。さらに、テストフェーズでのターゲットモダリティの特定の情報の不足に対処するために、ローカル適応融合(LAF)モジュールを採用して、グラウンドトゥルースに類似した特定の情報を持つモダリティのような疑似ターゲットを生成します。結果:合成パフォーマンスを評価するために、164人の被験者のBRATS2015データセットでメソッドを検証します。実験結果は、私たちのアプローチが、定量的および定性的測定の両方で、ベンチマーク法および他の最先端の医用画像合成法を大幅に上回っていることを示しています。 pix2pixGANs法と比較して、PSNRは23.68から24.8に向上します。結論:提案された方法は、ターゲットMRIシーケンスの予測に効果的であり、臨床診断と治療に役立つ可能性があります。
Purpose: Different Magnetic resonance imaging (MRI) modalities of the same anatomical structure are required to present different pathological information from the physical level for diagnostic needs. However, it is often difficult to obtain full-sequence MRI images of patients owing to limitations such as time consumption and high cost. The purpose of this work is to develop an algorithm for target MRI sequences prediction with high accuracy, and provide more information for clinical diagnosis. Methods: We propose a deep learning based multi-modal computing model for MRI synthesis with feature disentanglement strategy. To take full advantage of the complementary information provided by different modalities, multi-modal MRI sequences are utilized as input. Notably, the proposed approach decomposes each input modality into modality-invariant space with shared information and modality-specific space with specific information, so that features are extracted separately to effectively process the input data. Subsequently, both of them are fused through the adaptive instance normalization (AdaIN) layer in the decoder. In addition, to address the lack of specific information of the target modality in the test phase, a local adaptive fusion (LAF) module is adopted to generate a modality-like pseudo-target with specific information similar to the ground truth. Results: To evaluate the synthesis performance, we verify our method on the BRATS2015 dataset of 164 subjects. The experimental results demonstrate our approach significantly outperforms the benchmark method and other state-of-the-art medical image synthesis methods in both quantitative and qualitative measures. Compared with the pix2pixGANs method, the PSNR improves from 23.68 to 24.8. Conclusion: The proposed method could be effective in prediction of target MRI sequences, and useful for clinical diagnosis and treatment.
updated: Thu May 06 2021 17:22:22 GMT+0000 (UTC)
published: Thu May 06 2021 17:22:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト