arXiv reaDer
VTGAN:ビジョントランスフォーマーを使用した半教師あり網膜画像合成と疾患予測
VTGAN: Semi-supervised Retinal Image Synthesis and Disease Prediction using Vision Transformers
フルオレセイン血管造影(FA)では、外因性色素を血流に注入して、網膜の血管構造を画像化します。注射された染料は、吐き気、嘔吐、アナフィラキシーショック、さらには死などの副作用を引き起こす可能性があります。対照的に、カラー眼底イメージングは、網膜を撮影するために使用される非侵襲的手法ですが、その血管構造をキャプチャするための十分な忠実度を持っていません。網膜血管系を捕捉するための唯一の非侵襲的方法は、光コヒーレンストモグラフィー-血管造影(OCTA)です。ただし、OCTA装置は非常に高価であり、安定したイメージングは網膜上の小さな領域に限定されます。本論文では、網膜変性を予測しながら眼底写真からFA画像を同時に合成することができる新しい条件付き生成的敵対的ネットワーク(GAN)を提案します。提案されたシステムは、非侵襲的な方法で網膜血管系を画像化する問題に対処するだけでなく、網膜異常の存在を予測するという利点を有する。半教師ありアプローチを使用して、データのさまざまなモダリティで複数の加重損失を使用してGANをトレーニングします。私たちの実験は、提案されたアーキテクチャが眼底から血管造影への合成のための最近の最先端の生成ネットワークを超えていることを検証します。さらに、私たちのビジョントランスフォーマーベースの弁別器は、網膜疾患予測のための分布外データセットを非常によく一般化します。
In Fluorescein Angiography (FA), an exogenous dye is injected in the bloodstream to image the vascular structure of the retina. The injected dye can cause adverse reactions such as nausea, vomiting, anaphylactic shock, and even death. In contrast, color fundus imaging is a non-invasive technique used for photographing the retina but does not have sufficient fidelity for capturing its vascular structure. The only non-invasive method for capturing retinal vasculature is optical coherence tomography-angiography (OCTA). However, OCTA equipment is quite expensive, and stable imaging is limited to small areas on the retina. In this paper, we propose a novel conditional generative adversarial network (GAN) capable of simultaneously synthesizing FA images from fundus photographs while predicting retinal degeneration. The proposed system has the benefit of addressing the problem of imaging retinal vasculature in a non-invasive manner as well as predicting the existence of retinal abnormalities. We use a semi-supervised approach to train our GAN using multiple weighted losses on different modalities of data. Our experiments validate that the proposed architecture exceeds recent state-of-the-art generative networks for fundus-to-angiography synthesis. Moreover, our vision transformer-based discriminators generalize quite well on out-of-distribution data sets for retinal disease prediction.
updated: Wed Apr 14 2021 10:32:36 GMT+0000 (UTC)
published: Wed Apr 14 2021 10:32:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト