深層学習モデルは、ドメインシフト現象に敏感です。あるドメインの画像でトレーニングされたモデルは、同様の解剖学的構造をキャプチャしているにもかかわらず、別のドメインの画像でテストした場合、うまく一般化できません。これは主に、2つのドメイン間のデータ分散が異なるためです。さらに、すべての新しいモダリティの注釈を作成することは、退屈で時間のかかる作業であり、観察者間および観察者内のばらつきも大きいという問題があります。教師なしドメイン適応(UDA)メソッドは、ソースドメインのラベル付きデータを活用してターゲットドメインのラベルを生成することにより、ソースドメインとターゲットドメイン間のギャップを減らすことを目的としています。ただし、現在の最先端(SOTA)UDAメソッドでは、ソースドメインとターゲットドメインにデータが不十分な場合、パフォーマンスが低下します。この論文では、マルチモーダル心臓画像セグメンテーションのための新しいUDA法を提示します。提案された方法は、敵対的学習に基づいており、異なる空間のソースドメインとターゲットドメインの間でネットワーク機能を適応させます。このホワイトペーパーでは、a)エントロピーの最小化、b)出力の特徴空間の配置、c)セグメンテーションモデルによって学習された潜在的な特徴に基づく新しい点群形状の適応を統合するエンドツーエンドのフレームワークを紹介します。注釈付きのソースドメインであるbSSFP-MRI(平衡定常状態フリー行列-MRI)から注釈なしのターゲットドメインであるLGE-MRI(後期ガドリニウムエンハンス-MRI)に適応することにより、2つの心臓データセットでメソッドを検証しました。マルチシーケンスデータセット;クロスモダリティデータセットのMRI(ソース)からCT(ターゲット)へ。結果は、ネットワークのさまざまな部分で敵対的学習を実施することにより、提案された方法が他のSOTA方法と比較して有望なパフォーマンスを提供したことを強調しました。
Deep learning models are sensitive to domain shift phenomena. A model trained on images from one domain cannot generalise well when tested on images from a different domain, despite capturing similar anatomical structures. It is mainly because the data distribution between the two domains is different. Moreover, creating annotation for every new modality is a tedious and time-consuming task, which also suffers from high inter- and intra- observer variability. Unsupervised domain adaptation (UDA) methods intend to reduce the gap between source and target domains by leveraging source domain labelled data to generate labels for the target domain. However, current state-of-the-art (SOTA) UDA methods demonstrate degraded performance when there is insufficient data in source and target domains. In this paper, we present a novel UDA method for multi-modal cardiac image segmentation. The proposed method is based on adversarial learning and adapts network features between source and target domain in different spaces. The paper introduces an end-to-end framework that integrates: a) entropy minimisation, b) output feature space alignment and c) a novel point-cloud shape adaptation based on the latent features learned by the segmentation model. We validated our method on two cardiac datasets by adapting from the annotated source domain, bSSFP-MRI (balanced Steady-State Free Procession-MRI), to the unannotated target domain, LGE-MRI (Late-gadolinium enhance-MRI), for the multi-sequence dataset; and from MRI (source) to CT (target) for the cross-modality dataset. The results highlighted that by enforcing adversarial learning in different parts of the network, the proposed method delivered promising performance, compared to other SOTA methods.