臓器や腫瘍をセグメンテーションするための医用画像ベンチマークは、人件費と専門知識にかかる集中的なコストが原因で、部分的なラベル付けの問題に悩まされています。現在の主流のアプローチは、1 つのタスクを解決する 1 つのネットワークの慣行に従います。このパイプラインでは、1 つのタスクの通常は小さなデータセットによってパフォーマンスが制限されるだけでなく、計算コストもタスクの数に比例して増加します。これに対処するために、部分的にラベル付けされた複数のデータセットで臓器と腫瘍をセグメント化することを学習する Transformer ベースの動的オンデマンド ネットワーク (TransDoDNet) を提案します。具体的には、TransDoDNet には、畳み込みニューラル ネットワークと Transformer で構成されるハイブリッド バックボーンがあります。ダイナミック ヘッドにより、ネットワークは複数のセグメンテーション タスクを柔軟に実行できます。トレーニング後にカーネルを修正する既存のアプローチとは異なり、ダイナミック ヘッド内のカーネルは Transformer によって適応的に生成されます。トランスフォーマーは、自己注意メカニズムを使用して長距離の臓器ごとの依存関係をモデル化し、各臓器を表すことができる臓器埋め込みをデコードします。 MOTS と呼ばれる、部分的にラベル付けされた大規模なマルチ臓器および腫瘍セグメンテーション ベンチマークを作成し、7 つの臓器および腫瘍セグメンテーション タスクで、他の競合他社よりも優れた TransDoDNet のパフォーマンスを実証します。この調査では、大規模な MOTS ベンチマークで事前トレーニングされた一般的な 3D 医療画像セグメンテーション モデルも提供され、現在の主要な自己教師あり学習方法である BYOL よりも高度なパフォーマンスが実証されています。コードは https://git.io/DoDNet で入手できます。
Medical image benchmarks for the segmentation of organs and tumors suffer from the partially labeling issue due to its intensive cost of labor and expertise. Current mainstream approaches follow the practice of one network solving one task. With this pipeline, not only the performance is limited by the typically small dataset of a single task, but also the computation cost linearly increases with the number of tasks. To address this, we propose a Transformer based dynamic on-demand network (TransDoDNet) that learns to segment organs and tumors on multiple partially labeled datasets. Specifically, TransDoDNet has a hybrid backbone that is composed of the convolutional neural network and Transformer. A dynamic head enables the network to accomplish multiple segmentation tasks flexibly. Unlike existing approaches that fix kernels after training, the kernels in the dynamic head are generated adaptively by the Transformer, which employs the self-attention mechanism to model long-range organ-wise dependencies and decodes the organ embedding that can represent each organ. We create a large-scale partially labeled Multi-Organ and Tumor Segmentation benchmark, termed MOTS, and demonstrate the superior performance of our TransDoDNet over other competitors on seven organ and tumor segmentation tasks. This study also provides a general 3D medical image segmentation model, which has been pre-trained on the large-scale MOTS benchmark and has demonstrated advanced performance over BYOL, the current predominant self-supervised learning method. Code will be available at https://git.io/DoDNet.