ディープラーニングモデルのトレーニングに必要な複数の機関からの大規模な医療データセットのキュレーションは、プライバシー保護と患者データを共有することの難しさによって課題があります。さまざまな教育機関間でプライバシー保護された共学習を可能にするパラダイムである連合学習(FL)は、この課題に対する有望なソリューションです。ただし、FLは一般に、機関間でのデータの分散が不均一であり、品質がラベル付けされたデータが不足しているため、パフォーマンスが低下します。この論文では、医療画像解析のための堅牢でラベル効率の高い自己監視型FLフレームワークを紹介します。具体的には、既存のFLパイプラインに新しい分散型自己監視事前トレーニングパラダイムを導入します(つまり、分散型ターゲットタスクデータセットでモデルを直接事前トレーニングします)。 Vision Transformersの最近の成功に基づいて構築された、自己監視型の事前トレーニングにマスクされた画像エンコーディングタスクを採用して、下流のフェデレーションモデルへのより効果的な知識の伝達を促進します。シミュレートされた実世界の医用画像フェデレーションデータセットに関する広範な経験的結果は、自己監視された事前トレーニングが、さまざまな程度のデータの不均一性に対するフェデレーションモデルの堅牢性に大きく貢献することを示しています。特に、深刻なデータの不均一性の下で、追加の事前トレーニングデータに依存することなく、私たちの方法は、監視されたベースラインと比較して、網膜、皮膚科、胸部X線分類のテスト精度で5.06%、1.53%、4.58%の改善を達成しますImageNetの事前トレーニングを使用します。さらに、自己監視ありFLアルゴリズムは、配布外のデータによく一般化され、制限されたラベルシナリオでフェデレーションモデルをより効果的に学習し、テストで監視ありベースラインを10.36%、半教師ありFLメソッドを8.3%上回っていることを示します。正確さ。
The curation of large-scale medical datasets from multiple institutions necessary for training deep learning models is challenged by the difficulty in sharing patient data with privacy-preserving. Federated learning (FL), a paradigm that enables privacy-protected collaborative learning among different institutions, is a promising solution to this challenge. However, FL generally suffers from performance deterioration due to heterogeneous data distributions across institutions and the lack of quality labeled data. In this paper, we present a robust and label-efficient self-supervised FL framework for medical image analysis. Specifically, we introduce a novel distributed self-supervised pre-training paradigm into the existing FL pipeline (i.e., pre-training the models directly on the decentralized target task datasets). Built upon the recent success of Vision Transformers, we employ masked image encoding tasks for self-supervised pre-training, to facilitate more effective knowledge transfer to downstream federated models. Extensive empirical results on simulated and real-world medical imaging federated datasets show that self-supervised pre-training largely benefits the robustness of federated models against various degrees of data heterogeneity. Notably, under severe data heterogeneity, our method, without relying on any additional pre-training data, achieves an improvement of 5.06%, 1.53% and 4.58% in test accuracy on retinal, dermatology and chest X-ray classification compared with the supervised baseline with ImageNet pre-training. Moreover, we show that our self-supervised FL algorithm generalizes well to out-of-distribution data and learns federated models more effectively in limited label scenarios, surpassing the supervised baseline by 10.36% and the semi-supervised FL method by 8.3% in test accuracy.