ディープラーニングの最近の進歩により、カラー眼底(CF)画像での血管検出の最新技術が大幅に進歩しましたが、フルオレセイン血管造影(FA)での血管検出の成功は、ラベル付けされたグラウンドトゥルースデータセットがないために妨げられています。クロスモダリティ転送とヒューマンインザループ学習という2つの主要なコンポーネントを組み合わせることで、ラベル付きグラウンドトゥルースデータの生成に必要な労力を削減するディープニューラルネットワークを使用して、FA画像で網膜血管を検出する新しいパイプラインを提案します。モダリティ間転送は、同時にキャプチャされたCFおよび眼底FA画像を悪用します。バイナリ血管マップは、事前にトレーニングされたニューラルネットワークでCF画像から最初に検出され、次に幾何学的に登録され、教師なしの手法で取得された予備のFA血管検出へのロバストなパラメトリック面取りアライメントを介してFA画像に転送されます。転送された血管をディープラーニングの初期グラウンドトゥルースラベルとして使用して、ヒューマンインザループアプローチは、ディープラーニングとラベリングを繰り返すことにより、グランドトゥルースラベリングの品質を徐々に向上させます。このアプローチにより、手作業によるラベル付け作業が大幅に削減され、エンゲージメントが向上します。提案された方法論に関するいくつかの重要な考慮事項を強調し、3つのデータセットのパフォーマンスを検証します。実験結果は、提案されたパイプラインが注釈の労力を大幅に削減し、結果として得られるディープラーニングメソッドが既存のFA血管検出メソッドよりも大幅に優れていることを示しています。高解像度の超広視野画像と正確にラベル付けされたグラウンドトゥルーバイナリ血管マップを含む、新しいパブリックデータセットRECOVERY-FA19が導入されました。
While recent advances in deep learning have significantly advanced the state of the art for vessel detection in color fundus (CF) images, the success for detecting vessels in fluorescein angiography (FA) has been stymied due to the lack of labeled ground truth datasets. We propose a novel pipeline to detect retinal vessels in FA images using deep neural networks that reduces the effort required for generating labeled ground truth data by combining two key components: cross-modality transfer and human-in-the-loop learning. The cross-modality transfer exploits concurrently captured CF and fundus FA images. Binary vessels maps are first detected from CF images with a pre-trained neural network and then are geometrically registered with and transferred to FA images via robust parametric chamfer alignment to a preliminary FA vessel detection obtained with an unsupervised technique. Using the transferred vessels as initial ground truth labels for deep learning, the human-in-the-loop approach progressively improves the quality of the ground truth labeling by iterating between deep-learning and labeling. The approach significantly reduces manual labeling effort while increasing engagement. We highlight several important considerations for the proposed methodology and validate the performance on three datasets. Experimental results demonstrate that the proposed pipeline significantly reduces the annotation effort and the resulting deep learning methods outperform prior existing FA vessel detection methods by a significant margin. A new public dataset, RECOVERY-FA19, is introduced that includes high-resolution ultra-widefield images and accurately labeled ground truth binary vessel maps.