arXiv reaDer
ACN:モダリティが欠落している脳腫瘍セグメンテーションのための敵対的共同トレーニングネットワーク
ACN: Adversarial Co-training Network for Brain Tumor Segmentation with Missing Modalities
磁気共鳴画像法(MRI)からの脳腫瘍の正確なセグメンテーションは、診断、予後、および外科治療に臨床的に関連しており、補足的な形態学的および生理病理学的情報を提供するために複数のモダリティが必要です。ただし、モダリティの欠落は通常、画像の破損、アーティファクト、異なる取得プロトコル、または臨床診療における特定の造影剤に対するアレルギーが原因で発生します。既存の取り組みは、すべての欠落した状況に対して統一されたモデルの可能性を示していますが、複数のモダリティが欠落している場合、それらのほとんどはパフォーマンスが低下します。この論文では、この問題を解決するための新しい敵対的共同訓練ネットワーク(ACN)を提案します。このネットワークでは、一連の独立しているが関連するモデルが、それぞれの欠落した状況に特化して訓練され、大幅に優れた結果が得られます。具体的には、ACNは新しい共同トレーニングネットワークを採用しています。これにより、完全なモダリティと欠落しているモダリティの両方の結合学習プロセスが相互のドメインと機能の表現を補完し、さらに重要なことに、欠落しているモダリティの「欠落している」情報を回復できます。次に、2つの教師なしモジュール、つまりエントロピーと知識の敵対的学習モジュールを提案して、ドメインギャップを最小限に抑えながら、予測の信頼性を高め、潜在表現の配置を促進します。また、モダリティ間の豊富な相互情報を保持するために、モダリティ-相互情報知識伝達学習をACNに適応させます。 BraTS2018データセットでの広範な実験は、提案された方法が、欠落している状況下ですべての最先端の方法を大幅に上回っていることを示しています。
Accurate segmentation of brain tumors from magnetic resonance imaging (MRI) is clinically relevant in diagnoses, prognoses and surgery treatment, which requires multiple modalities to provide complementary morphological and physiopathologic information. However, missing modality commonly occurs due to image corruption, artifacts, different acquisition protocols or allergies to certain contrast agents in clinical practice. Though existing efforts demonstrate the possibility of a unified model for all missing situations, most of them perform poorly when more than one modality is missing. In this paper, we propose a novel Adversarial Co-training Network (ACN) to solve this issue, in which a series of independent yet related models are trained dedicated to each missing situation with significantly better results. Specifically, ACN adopts a novel co-training network, which enables a coupled learning process for both full modality and missing modality to supplement each other's domain and feature representations, and more importantly, to recover the `missing' information of absent modalities. Then, two unsupervised modules, i.e., entropy and knowledge adversarial learning modules are proposed to minimize the domain gap while enhancing prediction reliability and encouraging the alignment of latent representations, respectively. We also adapt modality-mutual information knowledge transfer learning to ACN to retain the rich mutual information among modalities. Extensive experiments on BraTS2018 dataset show that our proposed method significantly outperforms all state-of-the-art methods under any missing situation.
updated: Mon Jun 28 2021 11:53:11 GMT+0000 (UTC)
published: Mon Jun 28 2021 11:53:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト