医療画像の合成は、ペアになったデータが不足しているため、困難な作業です。いくつかの方法で CycleGAN を適用してペアになっていないデータを利用していますが、多くの場合、解剖学的構造を変える不正確なマッピングが生成されます。この問題は、ソース モダリティとターゲット モダリティからの画像の位置が大きくずれている場合、さらに悪化します。最近、現在の方法では、補助的なセグメンテーション ネットワークを組み込むことでこの問題に対処することを目的としています。残念ながら、この戦略にはコストと時間がかかるピクセルレベルの注釈が必要です。この問題を克服するために、この論文では、自動的に抽出された粗いマスクを利用して構造の一貫性を強化する、新しくて費用対効果の高いフレームワークである MaskGAN を提案します。私たちのアプローチでは、マスク ジェネレーターを使用して解剖学的構造の概要を示し、コンテンツ ジェネレーターを使用してこれらの構造に合わせた CT コンテンツを合成します。広範な実験により、MaskGAN が、小児の急速な成長により MR スキャンと CT スキャンの位置が大きくずれている、困難な小児データセットにおいて最先端の合成手法よりも優れたパフォーマンスを発揮することが実証されました。特に、MaskGAN は、専門家の注釈を必要とせずに解剖学的構造を保存することに優れています。この論文のコードは https://github.com/HieuPhan33/MaskGAN にあります。
Medical image synthesis is a challenging task due to the scarcity of paired data. Several methods have applied CycleGAN to leverage unpaired data, but they often generate inaccurate mappings that shift the anatomy. This problem is further exacerbated when the images from the source and target modalities are heavily misaligned. Recently, current methods have aimed to address this issue by incorporating a supplementary segmentation network. Unfortunately, this strategy requires costly and time-consuming pixel-level annotations. To overcome this problem, this paper proposes MaskGAN, a novel and cost-effective framework that enforces structural consistency by utilizing automatically extracted coarse masks. Our approach employs a mask generator to outline anatomical structures and a content generator to synthesize CT contents that align with these structures. Extensive experiments demonstrate that MaskGAN outperforms state-of-the-art synthesis methods on a challenging pediatric dataset, where MR and CT scans are heavily misaligned due to rapid growth in children. Specifically, MaskGAN excels in preserving anatomical structures without the need for expert annotations. The code for this paper can be found at https://github.com/HieuPhan33/MaskGAN.