ペアのマルチモダリティ医用画像は、医師がシングルモダリティ医用画像よりも合理的な決定を下すのに役立つ補足情報を提供できます。しかし、実際には複数の要因(時間、コスト、放射線量など)があるため、それらを生成することは困難です。これらの問題に対処するために、マルチモダリティ医用画像翻訳は最近ますます研究の関心を呼んでいます。ただし、既存の作品は、重要なターゲット領域や関心領域(ROI)(臓器など)ではなく、画像全体の変換効果に主に焦点を当てています。これにより、ローカライズされたターゲット領域の変換の品質が低下し、ぼやけたり、変形したり、さらには不合理なテクスチャが追加されたりします。本論文では、TarGANと呼ばれる新しいターゲット認識生成敵対的ネットワークを提案します。これは、(1)ペアデータに依存せずにマルチモダリティ医用画像翻訳を学習し、(2)強化することができる汎用マルチモダリティ医用画像翻訳モデルです。ターゲットエリアラベルの助けを借りたターゲットエリア生成の品質。 TarGANのジェネレーターは、画像全体の変換マッピングとターゲット領域の変換マッピングの2つのレベルで同時にマッピングを共同で学習します。これらの2つのマッピングは、提案された交差損失を通じて相互に関連しています。定量的測定と定性的評価の両方に関する実験は、TarGANがすべての場合において最先端の方法よりも優れていることを示しています。後続のセグメンテーションタスクは、実際のアプリケーションでTarGANによって生成された合成画像の有効性を実証するために実行されます。私たちのコードはhttps://github.com/2165998/TarGANで入手できます。
Paired multi-modality medical images, can provide complementary information to help physicians make more reasonable decisions than single modality medical images. But they are difficult to generate due to multiple factors in practice (e.g., time, cost, radiation dose). To address these problems, multi-modality medical image translation has aroused increasing research interest recently. However, the existing works mainly focus on translation effect of a whole image instead of a critical target area or Region of Interest (ROI), e.g., organ and so on. This leads to poor-quality translation of the localized target area which becomes blurry, deformed or even with extra unreasonable textures. In this paper, we propose a novel target-aware generative adversarial network called TarGAN, which is a generic multi-modality medical image translation model capable of (1) learning multi-modality medical image translation without relying on paired data, (2) enhancing quality of target area generation with the help of target area labels. The generator of TarGAN jointly learns mapping at two levels simultaneously - whole image translation mapping and target area translation mapping. These two mappings are interrelated through a proposed crossing loss. The experiments on both quantitative measures and qualitative evaluations demonstrate that TarGAN outperforms the state-of-the-art methods in all cases. Subsequent segmentation task is conducted to demonstrate effectiveness of synthetic images generated by TarGAN in a real-world application. Our code is available at https://github.com/2165998/TarGAN.