同じ解剖学的構造のマルチコントラスト/モーダルMRIを生成すると、診断情報が充実しますが、データ取得時間が長すぎるため、実際には制限されます。この論文では、入力としていくつかのソースモダリティの不完全なk空間データを使用してマルチモーダルMRIの共同再構成と合成のための新しい深層学習モデルを提案します。モデルの出力には、ソースモダリティの再構成された画像とターゲットモダリティで合成された高品質の画像が含まれます。私たちの提案するモデルは、いくつかの学習可能なモダリティ固有の特徴抽出器とマルチモーダル合成モジュールを活用する変分問題として定式化されています。このモデルを解くための学習可能な最適化アルゴリズムを提案します。これにより、マルチモーダルMRIデータを使用してパラメーターをトレーニングできるマルチフェーズネットワークが誘導されます。さらに、堅牢なパラメータトレーニングのためにバイレベル最適化フレームワークが採用されています。広範な数値実験を使用して、アプローチの有効性を示します。
Generating multi-contrasts/modal MRI of the same anatomy enriches diagnostic information but is limited in practice due to excessive data acquisition time. In this paper, we propose a novel deep-learning model for joint reconstruction and synthesis of multi-modal MRI using incomplete k-space data of several source modalities as inputs. The output of our model includes reconstructed images of the source modalities and high-quality image synthesized in the target modality. Our proposed model is formulated as a variational problem that leverages several learnable modality-specific feature extractors and a multimodal synthesis module. We propose a learnable optimization algorithm to solve this model, which induces a multi-phase network whose parameters can be trained using multi-modal MRI data. Moreover, a bilevel-optimization framework is employed for robust parameter training. We demonstrate the effectiveness of our approach using extensive numerical experiments.