異種データに対する従来のフェデレーテッド ラーニング (FL) の平凡なパフォーマンスは、パーソナライズされた FL ソリューションを促進してきました。このソリューションでは、単一のグローバル コンセンサス モデルをトレーニングする従来の FL とは異なり、異なるモデルが異なるクライアントに許可されます。ただし、ほとんどの既存のパーソナライズされた FL アルゴリズムでは、フェデレーション全体の共同知識は、モデルの集約や正則化などの方法でクライアントに暗黙的に渡されるだけでした。この暗黙の知識移転は、他のクライアントに対する各クライアントの経験的リスクの潜在的な価値を最大化できないことを観察しました。私たちの観察に基づいて、この作業では、パーソナライズされたグローバルフェデレーテッドラーニング(PGFed)を提案します。これは、各クライアントが自分自身と他のクライアントの経験的リスクを明示的かつ適応的に集約することにより、独自のグローバル目標をパーソナライズできるようにする新しいパーソナライズされた FL フレームワークです。大規模な (O(N^2)) 通信オーバーヘッドと潜在的なプライバシー漏洩を回避するために、各クライアントのリスクは、他のクライアントの適応リスク集約の一次近似によって推定されます。 PGFed に加えて、PGFedMo と呼ばれるモメンタム アップグレードを開発し、クライアントの経験的リスクをより効率的に活用します。ベンチマーク データセットを使用したさまざまなフェデレーション設定での広範な実験では、比較された最先端の代替手段よりも PGFed が一貫して改善されていることが示されています。
The mediocre performance of conventional federated learning (FL) over heterogeneous data has been facilitating personalized FL solutions, where, unlike conventional FL which trains a single global consensus model, different models are allowed for different clients. However, in most existing personalized FL algorithms, the collaborative knowledge across the federation was only implicitly passed to the clients in ways such as model aggregation or regularization. We observed that this implicit knowledge transfer fails to maximize the potential value of each client's empirical risk toward other clients. Based on our observation, in this work, we propose Personalized Global Federated Learning (PGFed), a novel personalized FL framework that enables each client to personalize its own global objective by explicitly and adaptively aggregating the empirical risks of itself and other clients. To avoid massive (O(N^2)) communication overhead and potential privacy leakage, each client's risk is estimated through a first-order approximation for other clients' adaptive risk aggregation. On top of PGFed, we develop a momentum upgrade, dubbed PGFedMo, to more efficiently utilize clients' empirical risks. Our extensive experiments under different federated settings with benchmark datasets show consistent improvements of PGFed over the compared state-of-the-art alternatives.