マルチコントラスト磁気共鳴画像法(MRI)は、各コントラストが補足情報を提供するため、臨床診療で広く使用されています。ただし、実際には、各コントラストの可用性は患者によって異なる場合があります。これは、放射線科医と自動画像分析アルゴリズムの両方に課題をもたらします。この問題に取り組むための一般的なアプローチは、欠測データの代入です。これは、既存のものから欠測コントラストを合成することを目的としています。いくつかの畳み込みニューラルネットワーク(CNN)ベースのアルゴリズムが提案されていますが、それらは、固定数の入力チャネルと出力チャネルの要件、長距離依存関係をキャプチャできない、解釈可能性の欠如など、CNNモデルの基本的な制限に悩まされています。この論文では、欠測データの代入をシーケンス間の学習問題として定式化し、入力コントラストのサブセットを取得して欠測を合成できるマルチコントラストマルチスケールトランスフォーマー(MMT)を提案します。 MMTは、入力の階層表現を構築するマルチスケールTransformerエンコーダーと、粗いものから細かい方法で出力を生成するマルチスケールTransformerデコーダーで構成されています。提案されたマルチコントラストSwinTransformerブロックのおかげで、コントラスト内およびコントラスト間の依存関係を効率的にキャプチャして、正確な画像合成を行うことができます。さらに、MMTは本質的に解釈可能です。デコーダーに組み込まれているTransformerブロックのアテンションマップを分析することで、さまざまな領域での各入力コントラストの重要性を理解できます。 2つの大規模なマルチコントラストMRIデータセットに関する広範な実験は、MMTが最先端の方法よりも定量的および定性的に優れていることを示しています。
Multi-contrast magnetic resonance imaging (MRI) is widely used in clinical practice as each contrast provides complementary information. However, the availability of each contrast may vary amongst patients in reality. This poses challenges to both radiologists and automated image analysis algorithms. A general approach for tackling this problem is missing data imputation, which aims to synthesize the missing contrasts from existing ones. While several convolutional neural network (CNN) based algorithms have been proposed, they suffer from the fundamental limitations of CNN models, such as requirement for fixed numbers of input and output channels, inability to capture long-range dependencies, and lack of interpretability. In this paper, we formulate missing data imputation as a sequence-to-sequence learning problem and propose a multi-contrast multi-scale Transformer (MMT), which can take any subset of input contrasts and synthesize those that are missing. MMT consists of a multi-scale Transformer encoder that builds hierarchical representations of inputs combined with a multi-scale Transformer decoder that generates the outputs in a coarse-to-fine fashion. Thanks to the proposed multi-contrast Swin Transformer blocks, it can efficiently capture intra- and inter-contrast dependencies for accurate image synthesis. Moreover, MMT is inherently interpretable. It allows us to understand the importance of each input contrast in different regions by analyzing the in-built attention maps of Transformer blocks in the decoder. Extensive experiments on two large-scale multi-contrast MRI datasets demonstrate that MMT outperforms the state-of-the-art methods quantitatively and qualitatively.