トランスフォーマーは、医療画像分析ドメイン内の長距離依存関係のモデリングに向けて目覚ましい進歩を遂げました。ただし、現在のトランスベースのモデルにはいくつかの欠点があります。(1)単純なトークン化スキームのため、既存の方法では画像の重要な機能をキャプチャできません。 (2)モデルは、単一スケールの特徴表現のみを考慮しているため、情報の損失に悩まされています。 (3)モデルによって生成されたセグメンテーションラベルマップは、豊富なセマンティックコンテキストと解剖学的テクスチャを考慮しないと十分に正確ではありません。この作業では、2D医療画像セグメンテーションのための新しいタイプの生成的敵対的変換器であるCASTformerを紹介します。まず、ピラミッド構造を利用して、マルチスケール表現を構築し、マルチスケールのバリエーションを処理します。次に、セマンティック構造を持つオブジェクトの識別領域をよりよく学習するために、新しいクラス対応トランスフォーマーモジュールを設計します。最後に、セグメンテーションの精度を高め、それに応じてトランスフォーマーベースの弁別器が高レベルの意味的に相関するコンテンツと低レベルの解剖学的特徴をキャプチャできるようにする敵対的なトレーニング戦略を利用します。私たちの実験は、CASTformerが3つのベンチマークで以前の最先端の変圧器ベースのアプローチを劇的に上回り、以前のモデルよりもDiceで2.54%〜5.88%の絶対的な改善を達成したことを示しています。さらなる定性的実験は、モデルの内部動作のより詳細な図を提供し、透明性の向上における課題に光を当て、転移学習がパフォーマンスを大幅に向上させ、トレーニング中の医用画像データセットのサイズを縮小できることを示し、CASTformerを下流の医用画像分析タスク。
Transformers have made remarkable progress towards modeling long-range dependencies within the medical image analysis domain. However, current transformer-based models suffer from several disadvantages: (1) existing methods fail to capture the important features of the images due to the naive tokenization scheme; (2) the models suffer from information loss because they only consider single-scale feature representations; and (3) the segmentation label maps generated by the models are not accurate enough without considering rich semantic contexts and anatomical textures. In this work, we present CASTformer, a novel type of generative adversarial transformers, for 2D medical image segmentation. First, we take advantage of the pyramid structure to construct multi-scale representations and handle multi-scale variations. We then design a novel class-aware transformer module to better learn the discriminative regions of objects with semantic structures. Lastly, we utilize an adversarial training strategy that boosts segmentation accuracy and correspondingly allows a transformer-based discriminator to capture high-level semantically correlated contents and low-level anatomical features. Our experiments demonstrate that CASTformer dramatically outperforms previous state-of-the-art transformer-based approaches on three benchmarks, obtaining 2.54%-5.88% absolute improvements in Dice over previous models. Further qualitative experiments provide a more detailed picture of the model's inner workings, shed light on the challenges in improved transparency, and demonstrate that transfer learning can greatly improve performance and reduce the size of medical image datasets in training, making CASTformer a strong starting point for downstream medical image analysis tasks.