arXiv reaDer
Federated Learning における Linear Layer Leakage Attack のリソース問題
The Resource Problem of Using Linear Layer Leakage Attack in Federated Learning
安全な集約は、サーバーが復号化された集約更新にのみアクセスできることを維持しながら、フェデレーテッド ラーニングにおけるプライバシー レベルの向上を約束します。この設定内では、クライアントの数やバッチ サイズに関係なく、スケーリングして高い漏洩率を達成できる唯一のデータ再構築攻撃は、線形層の漏洩方法です。これは、注入された全結合 (FC) 層のサイズを大きくすることによって行われます。ただし、これによりリソースのオーバーヘッドが発生し、クライアントの数が増えるにつれて大きくなります。このリソースのオーバーヘッドは、集約更新に対する攻撃を、より大きなバッチ サイズの個々の更新と同じように扱う以前のすべての作業における誤った視点によって引き起こされることを示しています。代わりに、アグリゲーションが複数の個々の更新を組み合わせているという観点から更新を攻撃することにより、スパース性の適用によりリソースのオーバーヘッドを軽減できます。スパース性を使用すると、SOTA と比較して、モデル サイズのオーバーヘッドを 327 分の 1 以上、計算時間を 3.34 分の 1 に減らすことができる一方で、1000 クライアントが集約されている場合でも 77% という同等の合計漏れ率を維持できることが示されています。
Secure aggregation promises a heightened level of privacy in federated learning, maintaining that a server only has access to a decrypted aggregate update. Within this setting, linear layer leakage methods are the only data reconstruction attacks able to scale and achieve a high leakage rate regardless of the number of clients or batch size. This is done through increasing the size of an injected fully-connected (FC) layer. However, this results in a resource overhead which grows larger with an increasing number of clients. We show that this resource overhead is caused by an incorrect perspective in all prior work that treats an attack on an aggregate update in the same way as an individual update with a larger batch size. Instead, by attacking the update from the perspective that aggregation is combining multiple individual updates, this allows the application of sparsity to alleviate resource overhead. We show that the use of sparsity can decrease the model size overhead by over 327× and the computation time by 3.34× compared to SOTA while maintaining equivalent total leakage rate, 77% even with 1000 clients in aggregation.
updated: Mon Mar 27 2023 01:21:31 GMT+0000 (UTC)
published: Mon Mar 27 2023 01:21:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト