医療画像のセグメンテーションは、コンピュータ支援診断にとって重要です。優れたセグメンテーションでは、モデルが全体像と細部を同時に表示する必要があります。つまり、高い空間解像度を維持しながら、大きなコンテキストを組み込んだ画像の特徴を学習する必要があります。この目標に近づくために、最も広く使用されている方法であるU-Netとその変形は、マルチスケール機能を抽出して融合します。ただし、融合された機能には、ローカル画像の手がかりに焦点を当てた小さな「有効な受容野」があり、パフォーマンスが制限されます。この作業では、トランスフォーマーに基づく代替セグメンテーションフレームワークであるSegtranを提案します。これは、高い機能解像度でも無制限の「有効な受容野」を持ちます。 Segtranのコアは、新しいSqueeze-and-Expansionトランスフォーマーです。スクイーズされたアテンションブロックはトランスフォーマーの自己アテンションを正規化し、拡張ブロックは多様な表現を学習します。さらに、画像に連続性誘導バイアスを課す、変圧器の新しい位置エンコード方式を提案します。実験は、2Dおよび3D医療画像セグメンテーションタスクで実行されました:眼底画像での視神経乳頭/カップセグメンテーション(REFUGE'20チャレンジ)、結腸内視鏡画像でのポリープセグメンテーション、およびMRIスキャンでの脳腫瘍セグメンテーション(BraTS'19チャレンジ)。代表的な既存の方法と比較して、Segtranは一貫して最高のセグメンテーション精度を達成し、優れたクロスドメイン一般化機能を示しました。
Medical image segmentation is important for computer-aided diagnosis. Good segmentation demands the model to see the big picture and fine details simultaneously, i.e., to learn image features that incorporate large context while keep high spatial resolutions. To approach this goal, the most widely used methods -- U-Net and variants, extract and fuse multi-scale features. However, the fused features still have small "effective receptive fields" with a focus on local image cues, limiting their performance. In this work, we propose Segtran, an alternative segmentation framework based on transformers, which have unlimited "effective receptive fields" even at high feature resolutions. The core of Segtran is a novel Squeeze-and-Expansion transformer: a squeezed attention block regularizes the self attention of transformers, and an expansion block learns diversified representations. Additionally, we propose a new positional encoding scheme for transformers, imposing a continuity inductive bias for images. Experiments were performed on 2D and 3D medical image segmentation tasks: optic disc/cup segmentation in fundus images (REFUGE'20 challenge), polyp segmentation in colonoscopy images, and brain tumor segmentation in MRI scans (BraTS'19 challenge). Compared with representative existing methods, Segtran consistently achieved the highest segmentation accuracy, and exhibited good cross-domain generalization capabilities.