磁気共鳴 (MR) 画像でマウス脳の微細構造をセグメント化することは、形態学的領域の描写、脳機能の分析、およびそれらの関係の理解にとって重要です。単一の MRI モダリティと比較して、マルチモーダル MRI データは、ディープ ラーニング モデルで活用できる補完的な組織の特徴を提供し、より良いセグメンテーション結果をもたらします。ただし、マルチモーダル マウス脳 MRI データが不足していることが多く、マウス脳の微細構造の自動セグメンテーションは非常に困難な作業です。この問題に対処するには、マルチモーダル MRI データを融合して、異なる脳構造で際立ったコントラストを生成する必要があります。したがって、MouseGAN ++という名前の新しい絡み合っていない対照的なGANベースのフレームワークを提案して、構造を維持する方法で単一のMRモダリティから複数のMRモダリティを合成し、欠落しているモダリティとマルチモダリティ融合を代入することによりセグメンテーションパフォーマンスを改善します。私たちの結果は、私たちの方法の翻訳パフォーマンスが最先端の方法よりも優れていることを示しています。その後学習したモダリティ不変情報とモダリティ変換された画像を使用して、MouseGAN++ は、平均ダイス係数がそれぞれ 90.0% (T2w) と 87.9% (T1w) の微細な脳構造をセグメント化し、比較して約 +10% のパフォーマンス向上を達成できます。最先端のアルゴリズムに。私たちの結果は、同時画像合成とセグメンテーション方法としてのMouseGAN ++を使用して、クロスモダリティ情報を対になっていない方法で融合し、マルチモーダルデータがない場合でもより堅牢なパフォーマンスを実現できることを示しています。 https://github.com/yu02019 で無料の学術使用のためのマウス脳構造セグメンテーション ツールとしてメソッドをリリースします。
Segmenting the fine structure of the mouse brain on magnetic resonance (MR) images is critical for delineating morphological regions, analyzing brain function, and understanding their relationships. Compared to a single MRI modality, multimodal MRI data provide complementary tissue features that can be exploited by deep learning models, resulting in better segmentation results. However, multimodal mouse brain MRI data is often lacking, making automatic segmentation of mouse brain fine structure a very challenging task. To address this issue, it is necessary to fuse multimodal MRI data to produce distinguished contrasts in different brain structures. Hence, we propose a novel disentangled and contrastive GAN-based framework, named MouseGAN++, to synthesize multiple MR modalities from single ones in a structure-preserving manner, thus improving the segmentation performance by imputing missing modalities and multi-modality fusion. Our results demonstrate that the translation performance of our method outperforms the state-of-the-art methods. Using the subsequently learned modality-invariant information as well as the modality-translated images, MouseGAN++ can segment fine brain structures with averaged dice coefficients of 90.0% (T2w) and 87.9% (T1w), respectively, achieving around +10% performance improvement compared to the state-of-the-art algorithms. Our results demonstrate that MouseGAN++, as a simultaneous image synthesis and segmentation method, can be used to fuse cross-modality information in an unpaired manner and yield more robust performance in the absence of multimodal data. We release our method as a mouse brain structural segmentation tool for free academic usage at https://github.com/yu02019.