ワンショット連合学習 (FL) は、有望なアプローチとして最近登場しました。これにより、中央サーバーは単一の通信ラウンドでモデルを学習できます。通信コストが低いにもかかわらず、既存のワンショット FL メソッドはほとんど非現実的であるか、固有の制限に直面しています。たとえば、パブリック データセットが必要である、クライアントのモデルが同種である、追加のデータ/モデル情報をアップロードする必要があるなどです。これらの問題を克服するために、データ生成段階とモデル蒸留段階によってグローバルモデルをトレーニングする、新しい2段階のデータフリーワンショット連合学習(DENSE)フレームワークを提案します。 DENSE は、次の利点により、実際に適用できる実用的なワンショット FL メソッドです。(1) DENSE は、クライアントとサーバー間で転送される他のメソッド (モデル パラメーターを除く) と比較して追加情報を必要としません。 (2) DENSE はトレーニング用の補助データセットを必要としません。 (3) DENSE は、FL におけるモデルの異質性を考慮します。つまり、異なるクライアントは異なるモデル アーキテクチャを持つことができます。さまざまな実世界のデータセットでの実験は、私たちの方法の優位性を示しています。
One-shot Federated Learning (FL) has recently emerged as a promising approach, which allows the central server to learn a model in a single communication round. Despite the low communication cost, existing one-shot FL methods are mostly impractical or face inherent limitations, e.g. a public dataset is required, clients' models are homogeneous, and additional data/model information need to be uploaded. To overcome these issues, we propose a novel two-stage Data-freE oNe-Shot federated lEarning (DENSE) framework, which trains the global model by a data generation stage and a model distillation stage. DENSE is a practical one-shot FL method that can be applied in reality due to the following advantages: (1) DENSE requires no additional information compared with other methods (except the model parameters) to be transferred between clients and the server; (2) DENSE does not require any auxiliary dataset for training; (3) DENSE considers model heterogeneity in FL, i.e. different clients can have different model architectures. Experiments on a variety of real-world datasets demonstrate the superiority of our method.For example, DENSE outperforms the best baseline method Fed-ADI by 5.08% on CIFAR10 dataset.