ドメインシフトとラベル不足により、深層学習アプリケーションのさまざまな医用画像分析タスクが大幅に制限されます。最近、教師なしドメイン適応 (UDA) 技術により、ラベルが豊富なソース ドメインからラベルのないターゲット ドメインに知識を転送することで、有望なクロスモダリティ医用画像セグメンテーションが実現されました。ただし、多くの臨床アプリケーションではソース ドメインからアノテーションを収集することも難しく、特に少数のソース ラベルしかアクセスできない少数ショットのシナリオでは、ラベルが不足しているソース ドメインではほとんどの従来の研究が最適化されていません。効率的な少数ショットのクロスモダリティセグメンテーションを実現するために、データ分布を多様化し、クロスモダリティのパフォーマンスを向上させるための有用な例を生成することを学習することを目的とした、新しい変換一貫性のあるメタ幻覚フレームワークであるメタハルシネーターを提案します。私たちのフレームワークでは、幻覚モデルとセグメンテーション モデルが勾配ベースのメタ学習戦略を使用して共同トレーニングされ、ターゲット ドメインで良好なセグメンテーション パフォーマンスにつながるサンプルを合成します。データ幻覚とクロスドメイン知識伝達をさらに促進するために、幻覚と矛盾しない特性を持つ自己アンサンブル モデルを開発します。私たちのメタ幻覚器はメタセグメンタとシームレスに連携して、メタ学習と自己アンサンブル学習を組み合わせた視点から相互に利益をもたらす幻覚学習を行うことができます。クロスモダリティ心臓セグメンテーションのための MM-WHS 2017 データセットに関する広範な研究により、私たちの方法が少数ショット UDA シナリオにおいてさまざまなアプローチに対して大幅に有利に機能することが実証されました。
Domain shift and label scarcity heavily limit deep learning applications to various medical image analysis tasks. Unsupervised domain adaptation (UDA) techniques have recently achieved promising cross-modality medical image segmentation by transferring knowledge from a label-rich source domain to an unlabeled target domain. However, it is also difficult to collect annotations from the source domain in many clinical applications, rendering most prior works suboptimal with the label-scarce source domain, particularly for few-shot scenarios, where only a few source labels are accessible. To achieve efficient few-shot cross-modality segmentation, we propose a novel transformation-consistent meta-hallucination framework, meta-hallucinator, with the goal of learning to diversify data distributions and generate useful examples for enhancing cross-modality performance. In our framework, hallucination and segmentation models are jointly trained with the gradient-based meta-learning strategy to synthesize examples that lead to good segmentation performance on the target domain. To further facilitate data hallucination and cross-domain knowledge transfer, we develop a self-ensembling model with a hallucination-consistent property. Our meta-hallucinator can seamlessly collaborate with the meta-segmenter for learning to hallucinate with mutual benefits from a combined view of meta-learning and self-ensembling learning. Extensive studies on MM-WHS 2017 dataset for cross-modality cardiac segmentation demonstrate that our method performs favorably against various approaches by a lot in the few-shot UDA scenario.