ディープラーニングは、医療画像のセグメンテーションなどの分野で広く使用されています。しかし、既存の医用画像セグメンテーション モデルのパフォーマンスは、データ アノテーションのコストが法外に高いため、十分な高品質のラベル付きデータを取得するという課題によって制限されてきました。この制限を軽減するために、新しいテキスト拡張医療画像セグメンテーション モデル LViT (Language meets Vision Transformer) を提案します。当社の LViT モデルでは、画像データの品質不足を補うために医療テキストの注釈が組み込まれています。さらに、テキスト情報は、半教師あり学習において品質が向上した疑似ラベルを生成するためのガイドとなることができます。また、ピクセル レベル アテンション モジュール (PLAM) が半教師あり LViT 設定でローカル画像特徴を保持できるようにするために、指数関数的擬似ラベル反復メカニズム (EPI) も提案します。私たちのモデルでは、LV (言語視覚) 損失は、テキスト情報を直接使用してラベルのない画像のトレーニングを監視するように設計されています。評価のために、X 線と CT 画像を含む 3 つのマルチモーダル医療セグメンテーション データセット (画像 + テキスト) を構築します。実験結果は、私たちが提案したLViTが、完全教師付き設定と半教師付き設定の両方で優れたセグメンテーションパフォーマンスを備えていることを示しています。コードとデータセットは https://github.com/HUANGLIZI/LViT で入手できます。
Deep learning has been widely used in medical image segmentation and other aspects. However, the performance of existing medical image segmentation models has been limited by the challenge of obtaining sufficient high-quality labeled data due to the prohibitive data annotation cost. To alleviate this limitation, we propose a new text-augmented medical image segmentation model LViT (Language meets Vision Transformer). In our LViT model, medical text annotation is incorporated to compensate for the quality deficiency in image data. In addition, the text information can guide to generate pseudo labels of improved quality in the semi-supervised learning. We also propose an Exponential Pseudo label Iteration mechanism (EPI) to help the Pixel-Level Attention Module (PLAM) preserve local image features in semi-supervised LViT setting. In our model, LV (Language-Vision) loss is designed to supervise the training of unlabeled images using text information directly. For evaluation, we construct three multimodal medical segmentation datasets (image + text) containing X-rays and CT images. Experimental results show that our proposed LViT has superior segmentation performance in both fully-supervised and semi-supervised setting. The code and datasets are available at https://github.com/HUANGLIZI/LViT.