医療画像のセグメンテーション(多くの臨床ニーズの前提条件)は、畳み込みニューラルネットワーク(CNN)の最近の進歩によって大幅に繁栄しています。ただし、明示的な長距離関係のモデリングには一般的な制限があり、積極的なダウンサンプリング操作とともにディープエンコーダーを構築することに頼る既存の治療法は、冗長なディープネットワークとローカライズされた詳細の損失につながります。したがって、セグメンテーションタスクは、低レベルの詳細をしっかりと把握しながら、グローバルコンテキストのモデリングの効率を改善するためのより良いソリューションを待っています。このホワイトペーパーでは、この課題に対処するために、新しいブランチ内並列アーキテクチャであるTransFuseを提案します。 TransFuseは、TransformerとCNNを並列スタイルで組み合わせており、グローバルな依存関係と低レベルの空間詳細の両方を、はるかに浅い方法で効率的にキャプチャできます。さらに、新しい融合手法であるBiFusionモジュールは、両方のブランチのマルチレベル機能を効率的に融合するために作成されています。広範な実験により、TransFuseは、ポリープ、皮膚病変、股関節、前立腺のセグメンテーションなど、2Dと3Dの両方の医用画像セットで最新の結果を達成し、パラメーターを大幅に削減し、推論速度を向上させることが実証されています。
Medical image segmentation - the prerequisite of numerous clinical needs - has been significantly prospered by recent advances in convolutional neural networks (CNNs). However, it exhibits general limitations on modeling explicit long-range relation, and existing cures, resorting to building deep encoders along with aggressive downsampling operations, leads to redundant deepened networks and loss of localized details. Hence, the segmentation task awaits a better solution to improve the efficiency of modeling global contexts while maintaining a strong grasp of low-level details. In this paper, we propose a novel parallel-in-branch architecture, TransFuse, to address this challenge. TransFuse combines Transformers and CNNs in a parallel style, where both global dependency and low-level spatial details can be efficiently captured in a much shallower manner. Besides, a novel fusion technique - BiFusion module is created to efficiently fuse the multi-level features from both branches. Extensive experiments demonstrate that TransFuse achieves the newest state-of-the-art results on both 2D and 3D medical image sets including polyp, skin lesion, hip, and prostate segmentation, with significant parameter decrease and inference speed improvement.