臨床診療では、通常、複数のコントラストを持つ磁気共鳴画像法(MRI)を単一の研究で取得して、人体の同じ関心領域のさまざまな特性を評価します。取得プロセス全体は、k空間で1つ以上のモダリティをアンダーサンプリングすることで加速できます。最近の研究では、異なるコントラストまたはモダリティ間の冗長性を考慮すると、k空間でアンダーサンプリングされたターゲットMRIモダリティは、完全にサンプリングされたMRIコントラストを参照モダリティとしてより効率的に再構成できることが示されています。ただし、上記のマルチモーダル再構成のパフォーマンスは、実際には臨床診療で一般的である、異なるコントラスト間の微妙な空間的不整合によって悪影響を受ける可能性があることがわかりました。この論文では、そのような空間的ミスアラインメントを補償するために、ターゲットモダリティのより良い再構成品質に向けて、空間的アラインメントネットワークをマルチモーダル再構成と統合します。まず、空間アラインメントネットワークは、完全にサンプリングされた参照画像とアンダーサンプリングされたターゲット画像の間の空間的な不整合を推定し、それに応じて参照画像をワープします。次に、位置合わせされた完全にサンプリングされた参照画像が、アンダーサンプリングされたターゲット画像のマルチモーダル再構成に結合します。また、ターゲット画像と参照画像のコントラストの違いを考慮して、空間アライメントネットワークと再構成ネットワークを共同でトレーニングするために、再構成損失と組み合わせて、クロスモダリティ合成ベースの登録損失を特に設計します。臨床MRIとマルチコイルk空間生データの両方での実験は、私たちの空間アライメントネットワークで強化されたマルチモーダルMRI再構成の優位性と堅牢性を示しています。私たちのコードはhttps://github.com/woxuankai/SpatialAlignmentNetworkで公開されています。
In clinical practice, magnetic resonance imaging (MRI) with multiple contrasts is usually acquired in a single study to assess different properties of the same region of interest in human body. The whole acquisition process can be accelerated by having one or more modalities under-sampled in the k-space. Recent researches demonstrate that, considering the redundancy between different contrasts or modalities, a target MRI modality under-sampled in the k-space can be more efficiently reconstructed with a fully-sampled MRI contrast as the reference modality. However, we find that the performance of the above multi-modal reconstruction can be negatively affected by subtle spatial misalignment between different contrasts, which is actually common in clinical practice. In this paper, to compensate for such spatial misalignment, we integrate the spatial alignment network with multi-modal reconstruction towards better reconstruction quality of the target modality. First, the spatial alignment network estimates the spatial misalignment between the fully-sampled reference and the under-sampled target images, and warps the reference image accordingly. Then, the aligned fully-sampled reference image joins the multi-modal reconstruction of the under-sampled target image. Also, considering the contrast difference between the target and the reference images, we particularly design the cross-modality-synthesis-based registration loss, in combination with the reconstruction loss, to jointly train the spatial alignment network and the reconstruction network. Experiments on both clinical MRI and multi-coil k-space raw data demonstrate the superiority and robustness of multi-modal MRI reconstruction empowered with our spatial alignment network. Our code is publicly available at https://github.com/woxuankai/SpatialAlignmentNetwork.