arXiv reaDer
Self-Supervised Multi-Modal Alignment for Whole Body Medical Imaging
このホワイトペーパーでは、同じ被験者に対して2つのスキャンモダリティが利用できる場合の医用画像における自己教師あり深層学習の使用について説明します。具体的には、全身ディクソン技術の磁気共鳴(MR)スキャンと二重エネルギーX線吸収測定法(DXA)スキャンの両方で、UKBiobankからの20,000人を超える被験者の大規模な公開データセットを使用します。私たちは3つの貢献をします:(i)同じ被写体の異なるモダリティスキャンを高精度でマッチングすることを学ぶことができるマルチモーダル画像マッチング対照フレームワークを導入します。 (ii)適応なしで、この対照的なトレーニングステップ中に学習された対応を使用して、完全に監視されていない方法で自動クロスモーダルスキャン登録を実行できることを示します。 (iii)最後に、これらの登録を使用して、DXAスキャンからMRスキャンにセグメンテーションマップを転送します。MRスキャンでは、グラウンドトゥルースMRの例を必要とせずに、解剖学的領域をセグメント化するネットワークをトレーニングするために使用されます。さらなる研究を支援するために、私たちのコードは公開されます。
This paper explores the use of self-supervised deep learning in medical imaging in cases where two scan modalities are available for the same subject. Specifically, we use a large publicly-available dataset of over 20,000 subjects from the UK Biobank with both whole body Dixon technique magnetic resonance (MR) scans and also dual-energy x-ray absorptiometry (DXA) scans. We make three contributions: (i) We introduce a multi-modal image-matching contrastive framework, that is able to learn to match different-modality scans of the same subject with high accuracy. (ii) Without any adaption, we show that the correspondences learnt during this contrastive training step can be used to perform automatic cross-modal scan registration in a completely unsupervised manner. (iii) Finally, we use these registrations to transfer segmentation maps from the DXA scans to the MR scans where they are used to train a network to segment anatomical regions without requiring ground-truth MR examples. To aid further research, our code will be made publicly available.
updated: Fri Aug 06 2021 10:00:19 GMT+0000 (UTC)
published: Wed Jul 14 2021 12:35:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト