目的: CNN の不十分な受容野を改善するために生まれたトランスフォーマーは、最近爆発的な注目を集めています。ただし、グローバル表現学習の困難な計算の複雑さと、厳格なウィンドウ分割により、医療画像セグメンテーションへの展開が妨げられています。この作業は、医療画像のセグメンテーションを改善するために、トランスフォーマーの上記の 2 つの問題に対処することを目的としています。方法: 計算の複雑さを抑えてクロススケールのグローバルな相互作用を構築し、エントロピーのガイダンスの下でウィンドウを柔軟に生成できる境界認識軽量トランスフォーマー (BATFormer) を提案します。具体的には、長期的な依存関係の確立におけるトランスフォーマーの利点を完全に調査するために、クロススケール グローバル トランスフォーマー (CGT) モジュールを導入して、複数の小規模な特徴マップを共同で利用し、計算の複雑さを抑えてより豊富なグローバル機能を実現します。医用画像セグメンテーションにおける形状モデリングの重要性を考慮して、境界認識ローカル トランスフォーマー (BLT) モジュールが構築されます。境界の歪みを生成するバニラ トランスフォーマーの厳格なウィンドウ分割とは異なり、BLT は、計算の複雑さの削減と形状の保存の両方のために、エントロピーのガイダンスの下で適応ウィンドウ分割スキームを採用しています。結果: BATFormer は、ACDC データセットの平均、右心室、心筋、および左心室でそれぞれ 92.84%、91.97%、90.26%、および 96.30% の Dice で最高のパフォーマンスを達成し、Dice、IoU、および ACC で最高のパフォーマンスを達成します。 ISIC 2018 データセットでは、それぞれ 90.76%、84.64%、96.76% です。さらに重要なことに、BATFormer は、最先端のアプローチと比較して、最小限のモデル パラメーターと最小限の計算複雑さしか必要としません。結論と意義: 私たちの結果は、効率的でより優れた医用画像セグメンテーションのためにカスタマイズされたトランスフォーマーを開発する必要性を示しています。
Objective: Transformers, born to remedy the inadequate receptive fields of CNNs, have drawn explosive attention recently. However, the daunting computational complexity of global representation learning, together with rigid window partitioning, hinders their deployment in medical image segmentation. This work aims to address the above two issues in transformers for better medical image segmentation. Methods: We propose a boundary-aware lightweight transformer (BATFormer) that can build cross-scale global interaction with lower computational complexity and generate windows flexibly under the guidance of entropy. Specifically, to fully explore the benefits of transformers in long-range dependency establishment, a cross-scale global transformer (CGT) module is introduced to jointly utilize multiple small-scale feature maps for richer global features with lower computational complexity. Given the importance of shape modeling in medical image segmentation, a boundary-aware local transformer (BLT) module is constructed. Different from rigid window partitioning in vanilla transformers which would produce boundary distortion, BLT adopts an adaptive window partitioning scheme under the guidance of entropy for both computational complexity reduction and shape preservation. Results: BATFormer achieves the best performance in Dice of 92.84%, 91.97%, 90.26%, and 96.30% for the average, right ventricle, myocardium, and left ventricle respectively on the ACDC dataset and the best performance in Dice, IoU, and ACC of 90.76%, 84.64%, and 96.76% respectively on the ISIC 2018 dataset. More importantly, BATFormer requires the least amount of model parameters and the lowest computational complexity compared to the state-of-the-art approaches. Conclusion and Significance: Our results demonstrate the necessity of developing customized transformers for efficient and better medical image segmentation.