arXiv reaDer
ペアの医用画像翻訳とペアのない医用画像翻訳の間のギャップを埋める
Bridging the gap between paired and unpaired medical image translation
医用画像の翻訳は、いくつかのシーケンスをキャプチャする必要性を排除することにより、イメージングの作業負荷を軽減し、機械学習手法を開発するための注釈の負担を軽減する可能性があります。 GANは、MRからCTなど、あるドメインから別のドメインに画像を変換するために正常に使用されています。現在、優れた翻訳モデルを学習するには、ペアのデータ(登録されたMRおよびCT画像)または追加の監視(セグメンテーションマスクなど)が必要です。複数のモダリティを登録したり、それぞれのモダリティ内に構造に注釈を付けたりすることは、面倒で面倒な作業です。したがって、対になっていないデータの改善された翻訳方法を開発する必要があります。ここでは、ペアになっていないCTおよびMRデータでトレーニングされたタスクCT→MRおよびMR→CT、およびMRスキャンから生成されたMRCATペアの変更されたpix2pixモデルを紹介します。提案された修正は、ペアのMRおよびMRCAT画像を利用して、入力画像と変換された画像の間の良好な位置合わせを保証し、ペアのないCT画像は、MR→CTモデルがリアルな外観のCTを生成し、CT→MRモデルが入力として実際のCTでうまく機能することを保証します。提案されたpix2pixバリアントは、FIDおよびKIDの点でベースラインのpix2pix、pix2pixHD、およびCycleGANを上回り、よりリアルなCTおよびMR変換を生成します。
Medical image translation has the potential to reduce the imaging workload, by removing the need to capture some sequences, and to reduce the annotation burden for developing machine learning methods. GANs have been used successfully to translate images from one domain to another, such as MR to CT. At present, paired data (registered MR and CT images) or extra supervision (e.g. segmentation masks) is needed to learn good translation models. Registering multiple modalities or annotating structures within each of them is a tedious and laborious task. Thus, there is a need to develop improved translation methods for unpaired data. Here, we introduce modified pix2pix models for tasks CT→MR and MR→CT, trained with unpaired CT and MR data, and MRCAT pairs generated from the MR scans. The proposed modifications utilize the paired MR and MRCAT images to ensure good alignment between input and translated images, and unpaired CT images ensure the MR→CT model produces realistic-looking CT and CT→MR model works well with real CT as input. The proposed pix2pix variants outperform baseline pix2pix, pix2pixHD and CycleGAN in terms of FID and KID, and generate more realistic looking CT and MR translations.
updated: Fri Oct 15 2021 23:15:12 GMT+0000 (UTC)
published: Fri Oct 15 2021 23:15:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト