自己注意メカニズムを使用したグローバル(長距離)情報モデリングの恩恵を受けることができるTransformerは、最近、自然言語処理と2D画像分類で成功しています。ただし、ローカル機能とグローバル機能の両方が、特に3D医療画像セグメンテーションの高密度予測タスクにとって重要です。この論文では、MRI脳腫瘍セグメンテーションのために3D CNNでトランスフォーマーを初めて活用し、エンコーダーデコーダー構造に基づくTransBTSという名前の新しいネットワークを提案します。ローカルの3Dコンテキスト情報をキャプチャするために、エンコーダは最初に3DCNNを利用して体積空間特徴マップを抽出します。一方、機能マップは、グローバル機能モデリングのためにTransformerに供給されるトークン用に精巧に再構築されています。デコーダーは、Transformerに組み込まれている機能を活用し、プログレッシブアップサンプリングを実行して詳細なセグメンテーションマップを予測します。 BraTS 2019および2020データセットの両方での広範な実験結果は、TransBTSが3DMRIスキャンでの脳腫瘍セグメンテーションのための以前の最先端の3Dメソッドと同等またはそれ以上の結果を達成することを示しています。ソースコードはhttps://github.com/Wenxuan-1119/TransBTSで入手できます。
Transformer, which can benefit from global (long-range) information modeling using self-attention mechanisms, has been successful in natural language processing and 2D image classification recently. However, both local and global features are crucial for dense prediction tasks, especially for 3D medical image segmentation. In this paper, we for the first time exploit Transformer in 3D CNN for MRI Brain Tumor Segmentation and propose a novel network named TransBTS based on the encoder-decoder structure. To capture the local 3D context information, the encoder first utilizes 3D CNN to extract the volumetric spatial feature maps. Meanwhile, the feature maps are reformed elaborately for tokens that are fed into Transformer for global feature modeling. The decoder leverages the features embedded by Transformer and performs progressive upsampling to predict the detailed segmentation map. Extensive experimental results on both BraTS 2019 and 2020 datasets show that TransBTS achieves comparable or higher results than previous state-of-the-art 3D methods for brain tumor segmentation on 3D MRI scans. The source code is available at https://github.com/Wenxuan-1119/TransBTS