連合学習(FL)は、エッジデバイス上の分散型データセットからグローバルモデルまたはパーソナライズされたモデルを学習できる分散学習パラダイムです。ただし、コンピュータービジョンの領域では、FLのモデルのパフォーマンスは、統合されたFLフレームワークを使用したさまざまなタスクの調査が不足しているため、集中トレーニングよりもはるかに遅れています。 FLは、オブジェクト検出や画像セグメンテーションなどの高度なコンピュータビジョンタスクで効果的に実証されることはめったにありません。ギャップを埋め、コンピュータービジョンタスク用のFLの開発を容易にするために、この作業では、FedCVという名前の連合学習ライブラリとベンチマークフレームワークを提案し、3つの最も代表的なコンピュータービジョンタスク(画像分類、画像セグメンテーション、およびオブジェクトの検出。非IIDベンチマークデータセット、モデル、およびさまざまな参照FLアルゴリズムを提供します。私たちのベンチマーク調査は、将来の調査に値する複数の課題があることを示唆しています。集中トレーニングのトリックはFLに直接適用されない可能性があります。非IIDデータセットは、実際には、さまざまなタスクでモデルの精度をある程度低下させます。膨大な数のパラメータとクライアントごとのメモリコストを考えると、フェデレーショントレーニングのシステム効率を改善することは困難です。このようなライブラリとベンチマークは、同等の評価設定とともに、コンピュータビジョンタスクでFLを有意義に進歩させるために必要であると考えています。 FedCVは一般公開されています:https://github.com/FedML-AI/FedCV。
Federated Learning (FL) is a distributed learning paradigm that can learn a global or personalized model from decentralized datasets on edge devices. However, in the computer vision domain, model performance in FL is far behind centralized training due to the lack of exploration in diverse tasks with a unified FL framework. FL has rarely been demonstrated effectively in advanced computer vision tasks such as object detection and image segmentation. To bridge the gap and facilitate the development of FL for computer vision tasks, in this work, we propose a federated learning library and benchmarking framework, named FedCV, to evaluate FL on the three most representative computer vision tasks: image classification, image segmentation, and object detection. We provide non-I.I.D. benchmarking datasets, models, and various reference FL algorithms. Our benchmark study suggests that there are multiple challenges that deserve future exploration: centralized training tricks may not be directly applied to FL; the non-I.I.D. dataset actually downgrades the model accuracy to some degree in different tasks; improving the system efficiency of federated training is challenging given the huge number of parameters and the per-client memory cost. We believe that such a library and benchmark, along with comparable evaluation settings, is necessary to make meaningful progress in FL on computer vision tasks. FedCV is publicly available: https://github.com/FedML-AI/FedCV.