磁気共鳴画像法 (MRI) は、乳房の病変の検出に非常に敏感です。異なる設定で得られたシーケンスは、病変の特定の特徴を捉えることができます。このようなマルチパラメータ MRI 情報は、病変分類における放射線科医のパフォーマンスを向上させるだけでなく、さまざまなタスクにおける人工知能モデルのパフォーマンスを向上させることが示されています。ただし、マルチパラメータ MRI を取得すると、金銭的および時間的な観点から検査に費用がかかり、特別な集団には安全上の懸念が生じる可能性があるため、MRI シーケンスの全スペクトルの取得は耐久性が低くなります。この研究では、単純な入力融合または既存の MRI パラメーターからの特徴の連結とは異なり、欠落しているパラメーターを生成するために、新しい Integrated MRI Multi-Parameter reinfOcement fusion generatorR with Attention Network (IMPORTANT-Net) が開発されています。最初に、パラメーター再構成モジュールを使用して既存の MRI パラメーターをエンコードおよび復元し、任意のスケール レベルで対応する潜在表現情報を取得します。次に、注意モジュールを使用したマルチパラメーター融合により、一連のアルゴリズム戦略を通じてさまざまなパラメーターからのエンコードされた情報の相互作用が可能になり、情報融合後に注意メカニズムを通じて情報にさまざまな重みを適用して、洗練された表現情報を取得します。最後に、V^-shape 生成モジュールに埋め込まれた強化融合スキームを使用して、階層表現を結合し、不足している MRI パラメータを生成します。結果は、IMPORTANT-Net が不足している MRI パラメーターを生成することができ、匹敵する最先端のネットワークよりも優れていることを示しました。コードは https://github.com/Netherlands-Cancer-Institute/MRI_IMPORTANT_NET で入手できます。
Magnetic resonance imaging (MRI) is highly sensitive for lesion detection in the breasts. Sequences obtained with different settings can capture the specific characteristics of lesions. Such multi-parameter MRI information has been shown to improve radiologist performance in lesion classification, as well as improving the performance of artificial intelligence models in various tasks. However, obtaining multi-parameter MRI makes the examination costly in both financial and time perspectives, and there may be safety concerns for special populations, thus making acquisition of the full spectrum of MRI sequences less durable. In this study, different than naive input fusion or feature concatenation from existing MRI parameters, a novel Integrated MRI Multi-Parameter reinfOrcement fusion generatoR wiTh AtteNTion Network (IMPORTANT-Net) is developed to generate missing parameters. First, the parameter reconstruction module is used to encode and restore the existing MRI parameters to obtain the corresponding latent representation information at any scale level. Then the multi-parameter fusion with attention module enables the interaction of the encoded information from different parameters through a set of algorithmic strategies, and applies different weights to the information through the attention mechanism after information fusion to obtain refined representation information. Finally, a reinforcement fusion scheme embedded in a V^--shape generation module is used to combine the hierarchical representations to generate the missing MRI parameter. Results showed that our IMPORTANT-Net is capable of generating missing MRI parameters and outperforms comparable state-of-the-art networks. Our code is available at https://github.com/Netherlands-Cancer-Institute/MRI_IMPORTANT_NET.