arXiv reaDer
医用画像セグメンテーションのためのデュアル クロスアテンション
Dual Cross-Attention for Medical Image Segmentation
デュアル クロス アテンション (DCA) を提案します。これは、医用画像セグメンテーション用の U-Net ベースのアーキテクチャでスキップ接続を強化できるシンプルで効果的なアテンション モジュールです。 DCA は、マルチスケール エンコーダー機能全体でチャネルと空間の依存関係を順次キャプチャすることにより、エンコーダー機能とデコーダー機能の間のセマンティック ギャップに対処します。まず、チャネル クロス アテンション (CCA) は、マルチスケール エンコーダー機能のチャネル トークン全体でクロス アテンションを利用することにより、グローバルなチャネル単位の依存関係を抽出します。次に、Spatial Cross-Attention (SCA) モジュールが相互注意を実行して、空間トークン間の空間依存関係を取得します。最後に、これらのきめの細かいエンコーダー機能がアップサンプリングされ、対応するデコーダー部分に接続されて、スキップ接続スキームが形成されます。私たちが提案する DCA モジュールは、U-Net やそのバリアントなどのスキップ接続を備えた任意のエンコーダー/デコーダー アーキテクチャに統合できます。 DCA モジュールを、U-Net、V-Net、R2Unet、ResUnet++、DoubleUnet、MultiResUnet などの 6 つの U-Net ベースのアーキテクチャに統合してテストします。当社の DCA モジュールは、GlaS で最大 2.05%、MoNuSeg で 2.74%、CVC-ClinicDB で 1.37%、Kvasir-Seg で 1.12%、Synapse データセットで 1.44% の Dice Score の改善を示しています。コードは https://github.com/gorkemcanates/Dual-Cross-Attention で入手できます。
We propose Dual Cross-Attention (DCA), a simple yet effective attention module that is able to enhance skip-connections in U-Net-based architectures for medical image segmentation. DCA addresses the semantic gap between encoder and decoder features by sequentially capturing channel and spatial dependencies across multi-scale encoder features. First, the Channel Cross-Attention (CCA) extracts global channel-wise dependencies by utilizing cross-attention across channel tokens of multi-scale encoder features. Then, the Spatial Cross-Attention (SCA) module performs cross-attention to capture spatial dependencies across spatial tokens. Finally, these fine-grained encoder features are up-sampled and connected to their corresponding decoder parts to form the skip-connection scheme. Our proposed DCA module can be integrated into any encoder-decoder architecture with skip-connections such as U-Net and its variants. We test our DCA module by integrating it into six U-Net-based architectures such as U-Net, V-Net, R2Unet, ResUnet++, DoubleUnet and MultiResUnet. Our DCA module shows Dice Score improvements up to 2.05% on GlaS, 2.74% on MoNuSeg, 1.37% on CVC-ClinicDB, 1.12% on Kvasir-Seg and 1.44% on Synapse datasets. Our codes are available at: https://github.com/gorkemcanates/Dual-Cross-Attention
updated: Thu Mar 30 2023 20:24:57 GMT+0000 (UTC)
published: Thu Mar 30 2023 20:24:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト