arXiv reaDer
nnFormer:体積セグメンテーション用のインターリーブトランス
nnFormer: Interleaved Transformer for Volumetric Segmentation
自然言語処理に最適なモデルであるTransformerは、医用画像コミュニティからほとんど注目されていません。長期的な依存関係を利用する能力を考えると、トランスフォーマーは、非定型の畳み込みニューラルネットワークが空間誘導バイアスの固有の欠点を克服するのに役立つことを約束しています。ただし、最近提案されたトランスベースのセグメンテーションアプローチのほとんどは、トランスを支援モジュールとして扱い、グローバルコンテキストを畳み込み表現にエンコードするのに役立ちます。この問題に対処するために、ボリューム医療画像セグメンテーション用の3DトランスフォーマーであるnnFormerを紹介します。 nnFormerは、インターリーブされた畳み込みと自己注意操作の組み合わせを活用するだけでなく、ボリューム表現を学習するためのローカルおよびグローバルなボリュームベースの自己注意メカニズムを導入します。さらに、nnFormerは、スキップアテンションを使用して、U-Netのようなアーキテクチャのスキップ接続で従来の連結/合計操作を置き換えることを提案しています。実験によると、nnFormerは、3つの公開データセットで、以前のトランスフォーマーベースの対応物を大幅に上回っています。 nnUNetと比較して、nnFormerは大幅に低いHD95と同等のDSC結果を生成します。さらに、nnFormerとnnUNetは、モデルアンサンブルにおいて互いに高度に補完的であることを示します。
Transformer, the model of choice for natural language processing, has drawn scant attention from the medical imaging community. Given the ability to exploit long-term dependencies, transformers are promising to help atypical convolutional neural networks to overcome their inherent shortcomings of spatial inductive bias. However, most of recently proposed transformer-based segmentation approaches simply treated transformers as assisted modules to help encode global context into convolutional representations. To address this issue, we introduce nnFormer, a 3D transformer for volumetric medical image segmentation. nnFormer not only exploits the combination of interleaved convolution and self-attention operations, but also introduces local and global volume-based self-attention mechanism to learn volume representations. Moreover, nnFormer proposes to use skip attention to replace the traditional concatenation/summation operations in skip connections in U-Net like architecture. Experiments show that nnFormer significantly outperforms previous transformer-based counterparts by large margins on three public datasets. Compared to nnUNet, nnFormer produces significantly lower HD95 and comparable DSC results. Furthermore, we show that nnFormer and nnUNet are highly complementary to each other in model ensembling.
updated: Fri Feb 04 2022 06:53:37 GMT+0000 (UTC)
published: Tue Sep 07 2021 17:08:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト