この作業では、頻繁なモデルのアップロードとダウンロードの負担を克服するために、連合学習(FL)用の通信効率の高いパラメーター化FedParaを提案します。私たちの方法は、低ランクの重みとそれに続くアダマール積を使用して、レイヤーの重みパラメーターを再パラメーター化します。従来の低ランクのパラメーター化と比較して、FedParaメソッドは低ランクの制約に制限されないため、容量がはるかに大きくなります。この特性により、従来の低ランクの方法では達成できない、元のレイヤーを使用したモデルの3〜10分の1の通信コストで、同等のパフォーマンスを実現できます。私たちの方法の効率は、他の効率的なFLオプティマイザーと組み合わせることでさらに改善できます。さらに、このメソッドをパーソナライズされたFLアプリケーションであるpFedParaに拡張します。これにより、パラメーターがグローバルパラメーターとローカルパラメーターに分離されます。 pFedParaは、パラメーターが3分の1を超える、競合するパーソナライズされたFLメソッドよりも優れていることを示しています。
In this work, we propose a communication-efficient parameterization, FedPara, for federated learning (FL) to overcome the burdens on frequent model uploads and downloads. Our method re-parameterizes weight parameters of layers using low-rank weights followed by the Hadamard product. Compared to the conventional low-rank parameterization, our FedPara method is not restricted to low-rank constraints, and thereby it has a far larger capacity. This property enables to achieve comparable performance while requiring 3 to 10 times lower communication costs than the model with the original layers, which is not achievable by the traditional low-rank methods. The efficiency of our method can be further improved by combining with other efficient FL optimizers. In addition, we extend our method to a personalized FL application, pFedPara, which separates parameters into global and local ones. We show that pFedPara outperforms competing personalized FL methods with more than three times fewer parameters.