マルチシーケンス MRI は、シーケンス内の補完的な情報により、臨床診療における信頼性の高い診断に必要になる場合があります。ただし、シーケンス全体に冗長な情報が存在するため、最新の機械学習または深層学習モデルによる効率的な表現のマイニングが妨げられます。さまざまな臨床シナリオを処理するために、画像分化表現学習用のシーケンス間生成フレームワーク (Seq2Seq) を提案します。この研究では、特定のターゲット シーケンスを生成するために 1 つのモデル内で任意の 3D/4D シーケンス生成を提案するだけでなく、生成されるシーケンスの難しさを推定する新しいメトリックに基づいて各シーケンスの重要性をランク付けすることもできます。 .さらに、各シーケンスの一意の情報を含む領域を抽出するモデルの生成不能も利用します。 20,000 のシミュレートされた被験者のおもちゃのデータセット、1,251 の被験者の脳 MRI データセット、および 2,101 の被験者の乳房 MRI データセットを含む 3 つのデータセットを使用して大規模な実験を行い、(1) 提案された Seq2Seq が複雑な臨床データセットに対して効率的で軽量であることを実証します。優れた画質を実現できます。 (2) 上位のシーケンスを使用して、完全なシーケンスを劣っていないパフォーマンスに置き換えることができます。 (3) MRI を当社の画像分化マップと組み合わせることで、神経膠芽腫 MGMT プロモーターのメチル化状態の予測や乳がんの病理学的完全奏効状態の予測などの臨床タスクのパフォーマンスが向上します。コードは https://github.com/fiy2W/mri_seq2seq で入手できます。
Multi-sequence MRIs can be necessary for reliable diagnosis in clinical practice due to the complimentary information within sequences. However, redundant information exists across sequences, which interferes with mining efficient representations by modern machine learning or deep learning models. To handle various clinical scenarios, we propose a sequence-to-sequence generation framework (Seq2Seq) for imaging-differentiation representation learning. In this study, not only do we propose arbitrary 3D/4D sequence generation within one model to generate any specified target sequence, but also we are able to rank the importance of each sequence based on a new metric estimating the difficulty of a sequence being generated. Furthermore, we also exploit the generation inability of the model to extract regions that contain unique information for each sequence. We conduct extensive experiments using three datasets including a toy dataset of 20,000 simulated subjects, a brain MRI dataset of 1,251 subjects, and a breast MRI dataset of 2,101 subjects, to demonstrate that (1) our proposed Seq2Seq is efficient and lightweight for complex clinical datasets and can achieve excellent image quality; (2) top-ranking sequences can be used to replace complete sequences with non-inferior performance; (3) combining MRI with our imaging-differentiation map leads to better performance in clinical tasks such as glioblastoma MGMT promoter methylation status prediction and breast cancer pathological complete response status prediction. Our code is available at https://github.com/fiy2W/mri_seq2seq.