近年、コンピュータ支援診断はますます人気のあるトピックになっています。畳み込みニューラルネットワークに基づく方法は、医療画像のセグメンテーションと分類で優れたパフォーマンスを実現しています。畳み込み演算の制限により、長期的な空間的特徴が正確に取得されないことがよくあります。そこで、畳み込み演算と符号化部分のトランス動作を組み合わせたTransClawU-Netネットワーク構造を提案します。畳み込み部分は、浅い空間特徴を抽出するために適用され、アップサンプリング後の画像解像度の回復を容易にします。トランスフォーマー部分はパッチをエンコードするために使用され、自己注意メカニズムはシーケンス間のグローバル情報を取得するために使用されます。デコード部分は、より詳細なセグメンテーションパフォーマンスのために下部のアップサンプリング構造を保持します。 Synapse Multi-organ Segmentation Datasetsの実験結果は、TransClawU-Netのパフォーマンスが他のネットワーク構造よりも優れていることを示しています。アブレーション実験は、TransClawU-Netの一般化性能も証明しています。
In recent years, computer-aided diagnosis has become an increasingly popular topic. Methods based on convolutional neural networks have achieved good performance in medical image segmentation and classification. Due to the limitations of the convolution operation, the long-term spatial features are often not accurately obtained. Hence, we propose a TransClaw U-Net network structure, which combines the convolution operation with the transformer operation in the encoding part. The convolution part is applied for extracting the shallow spatial features to facilitate the recovery of the image resolution after upsampling. The transformer part is used to encode the patches, and the self-attention mechanism is used to obtain global information between sequences. The decoding part retains the bottom upsampling structure for better detail segmentation performance. The experimental results on Synapse Multi-organ Segmentation Datasets show that the performance of TransClaw U-Net is better than other network structures. The ablation experiments also prove the generalization performance of TransClaw U-Net.