フェデレーテッド ラーニング (FL) は、複数のクライアントが共同してプライベート データを公開することなくモデルをトレーニングする分散機械学習 (ML) フレームワークです。 FL には、ローカル計算のサイクルと、クライアントとサーバー間の双方向通信が含まれます。このプロセス中のデータ セキュリティを強化するために、FL アルゴリズムは、共有前に各クライアントのモデル更新にノイズを導入する差分プライバシー (DP) メカニズムを頻繁に採用します。ただし、DP メカニズムはプライバシーを強化する一方で、コンバージェンスのパフォーマンスを妨げることがよくあります。この論文では、ローカル ステップの数と通信ラウンドの間に最適なバランスが存在し、与えられたプライバシー バジェット内でコンバージェンス パフォーマンスを最大化するバランスが存在すると仮定します。具体的には、ScaffNew アルゴリズムの DP バージョンの収束境界を強化するローカル ステップと通信ラウンドの最適な数の証明を示します。私たちの調査結果は、特に強凸最適化のコンテキストにおいて、最適なローカル ステップ数、通信ラウンド、および一連の変数 (DP プライバシー バジェットやその他の問題パラメータなど) との間に直接の相関関係があることを明らかにしています。さらに、理論的発見を検証するための経験的証拠も提供します。
Federated learning (FL) is a distributed machine learning (ML) framework where multiple clients collaborate to train a model without exposing their private data. FL involves cycles of local computations and bi-directional communications between the clients and server. To bolster data security during this process, FL algorithms frequently employ a differential privacy (DP) mechanism that introduces noise into each client's model updates before sharing. However, while enhancing privacy, the DP mechanism often hampers convergence performance. In this paper, we posit that an optimal balance exists between the number of local steps and communication rounds, one that maximizes the convergence performance within a given privacy budget. Specifically, we present a proof for the optimal number of local steps and communication rounds that enhance the convergence bounds of the DP version of the ScaffNew algorithm. Our findings reveal a direct correlation between the optimal number of local steps, communication rounds, and a set of variables, e.g the DP privacy budget and other problem parameters, specifically in the context of strongly convex optimization. We furthermore provide empirical evidence to validate our theoretical findings.