arXiv reaDer
ラベル効率の良い 3D から 2D セグメンテーションのためのインターモーダル再構築および特徴投影ネットワークによる自己教師あり学習
Self-supervised learning via inter-modal reconstruction and feature projection networks for label-efficient 3D-to-2D segmentation
ディープラーニングは、特定の医療画像セグメンテーションタスクを自動化するための貴重なツールとなり、医療専門家の作業負荷を大幅に軽減します。これらのタスクの中には、入力ディメンションのサブセットに対してセグメンテーションを実行する必要があるものもあります。最も一般的なケースは 3D から 2D です。ただし、既存の手法のパフォーマンスは、利用可能なラベル付きデータの量によって強く条件付けされます。これは、これらのタスクに関して検証されたデータ効率の高い手法 (転移学習など) が現時点では存在しないためです。この研究では、ラベル効率の高い 3D から 2D へのセグメンテーションのための新しい畳み込みニューラル ネットワーク (CNN) と自己教師あり学習 (SSL) 手法を提案します。 CNN は、新しい 3D-to-2D ブロックによって接続された 3D エンコーダーと 2D デコーダーで構成されています。 SSL 方法は、異なる次元を持つモダリティの画像ペアを再構成することで構成されます。このアプローチは、臨床関連性のある 2 つのタスク、つまり光コヒーレンストモグラフィーにおける地理的萎縮と網状偽ドルーゼンの正面セグメンテーションで検証されています。さまざまなデータセットの結果は、提案された CNN が、限られたラベル付きデータを使用するシナリオでの最先端技術を Dice スコアで最大 8% 大幅に向上させることを示しています。さらに、提案された SSL 方式では、このパフォーマンスをさらに最大 23% 向上させることができ、ネットワーク アーキテクチャに関係なく SSL が有益であることを示します。
Deep learning has become a valuable tool for the automation of certain medical image segmentation tasks, significantly relieving the workload of medical specialists. Some of these tasks require segmentation to be performed on a subset of the input dimensions, the most common case being 3D-to-2D. However, the performance of existing methods is strongly conditioned by the amount of labeled data available, as there is currently no data efficient method, e.g. transfer learning, that has been validated on these tasks. In this work, we propose a novel convolutional neural network (CNN) and self-supervised learning (SSL) method for label-efficient 3D-to-2D segmentation. The CNN is composed of a 3D encoder and a 2D decoder connected by novel 3D-to-2D blocks. The SSL method consists of reconstructing image pairs of modalities with different dimensionality. The approach has been validated in two tasks with clinical relevance: the en-face segmentation of geographic atrophy and reticular pseudodrusen in optical coherence tomography. Results on different datasets demonstrate that the proposed CNN significantly improves the state of the art in scenarios with limited labeled data by up to 8% in Dice score. Moreover, the proposed SSL method allows further improvement of this performance by up to 23%, and we show that the SSL is beneficial regardless of the network architecture.
updated: Thu Jul 06 2023 14:16:25 GMT+0000 (UTC)
published: Thu Jul 06 2023 14:16:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト