arXiv reaDer
低データ体制における放射線画像とレポートのための視覚言語モデリング
Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime
このホワイト ペーパーでは、臨床データセットでよくあるように、トレーニング データが限られているシナリオに特に焦点を当てて、視覚と言語の入力が共通の空間に埋め込まれている医療用視覚言語モデル (VLM) のトレーニングについて説明します。以下を含む、低データのパフォーマンスを改善するためのいくつかの候補方法を探ります。 (ii) ローカル (GLoRIA など) とグローバル (InfoNCE など) の対照的な損失関数、および 2 つの組み合わせを使用する。 (iii) VLM トレーニング中の追加の監督: (a) 画像とテキストのみの自己監督、および (b) 増強と最近傍検索によるトレーニング用の追加の肯定的な画像とテキストのペアの作成。ベンチマークとしてテキストから画像への検索を使用して、ペアになった胸部 X 線と放射線レポートの可変サイズのトレーニング データセットを使用して、これらの方法のパフォーマンスを評価します。組み合わせると、CLIP の微調整と比較して検索が大幅に改善され、データを使用したトレーニングとほぼ同等になります。 CXR 関連条件のダウンストリーム タスク分類にも同様のパターンが見られ、ゼロ ショットおよびリニア プロービング設定では、CLIP および強力な CXR VLM ベンチマークである BioVIL よりも優れた方法が使用されています。最後に、トレーニング データが不足している場合に、視覚言語モデルを他の医用画像モダリティでトレーニングすることを目指す研究者向けの一連の推奨事項を示します。さらなる調査を容易にするために、コードとモデルを公開します。
This paper explores training medical vision-language models (VLMs) -- where the visual and language inputs are embedded into a common space -- with a particular focus on scenarios where training data is limited, as is often the case in clinical datasets. We explore several candidate methods to improve low-data performance, including: (i) adapting generic pre-trained models to novel image and text domains (i.e. medical imaging and reports) via unimodal self-supervision; (ii) using local (e.g. GLoRIA) & global (e.g. InfoNCE) contrastive loss functions as well as a combination of the two; (iii) extra supervision during VLM training, via: (a) image- and text-only self-supervision, and (b) creating additional positive image-text pairs for training through augmentation and nearest-neighbour search. Using text-to-image retrieval as a benchmark, we evaluate the performance of these methods with variable sized training datasets of paired chest X-rays and radiological reports. Combined, they significantly improve retrieval compared to fine-tuning CLIP, roughly equivalent to training with the data. A similar pattern is found in the downstream task classification of CXR-related conditions with our method outperforming CLIP and also BioVIL, a strong CXR VLM benchmark, in the zero-shot and linear probing settings. We conclude with a set of recommendations for researchers aiming to train vision-language models on other medical imaging modalities when training data is scarce. To facilitate further research, we will make our code and models publicly available.
updated: Thu Mar 30 2023 18:20:00 GMT+0000 (UTC)
published: Thu Mar 30 2023 18:20:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト