ほとんどのクロスデバイス連合学習 (FL) 研究は、グローバル サーバー モデルとローカル クライアント モデルが同一であるモデル同種の設定に焦点を当てています。ただし、このような制約は、そうでなければモデルのトレーニングに独自の貢献をするローエンドのクライアントを除外するだけでなく、デバイス上のリソースのボトルネックのためにクライアントが大規模なモデルをトレーニングすることを抑制します。この作業では、FedRolex を提案します。これは、モデル異種 FL を可能にし、最大のクライアント モデルよりも大きなグローバル サーバー モデルをトレーニングできる部分トレーニング (PT) ベースのアプローチです。 FedRolex は、グローバル サーバー モデルのさまざまな部分を均等にトレーニングできるようにするローリング サブモデル抽出スキームを採用しています。 FedRolex が最先端の PT ベースのモデル異種 FL メソッド (Federated Dropout など) よりも優れており、モデル異種 FL とモデル同種 FL の間のギャップを縮小することを示しています。さらに、Federated Dropout に対する利点について理論的な統計分析を提供し、エミュレートされた実世界のデバイス ディストリビューションで FedRolex を評価して、FedRolex が FL の包括性を高め、他の方法では恩恵を受けないローエンド デバイスのパフォーマンスを向上させることができることを示します。フロリダ州。コードは https://github.com/MSU-MLSys-Lab/FedRolex で入手できます。
Most cross-device federated learning (FL) studies focus on the model-homogeneous setting where the global server model and local client models are identical. However, such constraint not only excludes low-end clients who would otherwise make unique contributions to model training but also restrains clients from training large models due to on-device resource bottlenecks. In this work, we propose FedRolex, a partial training (PT)-based approach that enables model-heterogeneous FL and can train a global server model larger than the largest client model. At its core, FedRolex employs a rolling sub-model extraction scheme that allows different parts of the global server model to be evenly trained, which mitigates the client drift induced by the inconsistency between individual client models and server model architectures. We show that FedRolex outperforms state-of-the-art PT-based model-heterogeneous FL methods (e.g. Federated Dropout) and reduces the gap between model-heterogeneous and model-homogeneous FL, especially under the large-model large-dataset regime. In addition, we provide theoretical statistical analysis on its advantage over Federated Dropout and evaluate FedRolex on an emulated real-world device distribution to show that FedRolex can enhance the inclusiveness of FL and boost the performance of low-end devices that would otherwise not benefit from FL. Our code is available at https://github.com/MSU-MLSys-Lab/FedRolex.