転移学習は、データが限られているタスクのパフォーマンスを向上させるための標準的な手法です。ただし、医用画像の場合、転移学習の価値はあまり明確ではありません。これは、通常の自然画像の事前トレーニング(ImageNetなど)と医用画像の間の大きなドメインの不一致が原因である可能性があります。しかし、最近の転移学習の進歩は、規模からの大幅な改善を示しています。最新の方法が医用画像の転移学習の運命を変えることができるかどうかを調査します。このために、Kolesnikov etalによって提示された大規模な事前トレーニング済みネットワークのクラスを研究します。胸部X線撮影、マンモグラフィ、皮膚科の3つの多様な画像診断タスクについて。配布外の一般化、データ効率、サブグループの公平性、不確実性の推定など、医療分野での展開に関する転送パフォーマンスと重要なプロパティの両方を調査します。興味深いことに、これらの特性のいくつかについて、自然画像から医用画像への転送は実際に非常に効果的ですが、十分な規模で実行された場合に限ります。
Transfer learning is a standard technique to improve performance on tasks with limited data. However, for medical imaging, the value of transfer learning is less clear. This is likely due to the large domain mismatch between the usual natural-image pre-training (e.g. ImageNet) and medical images. However, recent advances in transfer learning have shown substantial improvements from scale. We investigate whether modern methods can change the fortune of transfer learning for medical imaging. For this, we study the class of large-scale pre-trained networks presented by Kolesnikov et al. on three diverse imaging tasks: chest radiography, mammography, and dermatology. We study both transfer performance and critical properties for the deployment in the medical domain, including: out-of-distribution generalization, data-efficiency, sub-group fairness, and uncertainty estimation. Interestingly, we find that for some of these properties transfer from natural to medical images is indeed extremely effective, but only when performed at sufficient scale.