arXiv reaDer
神経崩壊に触発された、iid 以外のデータを使用したフェデレーテッド ラーニング
Neural Collapse Inspired Federated Learning with Non-iid Data
フェデレーテッド ラーニングの課題の 1 つは、異種デバイス間の非独立で同一に分散された (非 iid) 特性です。これにより、ローカル アップデートに大きな違いが生じ、中央サーバーのパフォーマンスに影響を与えます。この課題に対処するために多くの研究が提案されていますが、それらは変更をスムーズにするためのローカル トレーニングと集計プロセスにのみ焦点を当てており、ディープ ラーニング モデルで高いパフォーマンスを達成することはできません。神経崩壊の現象に着想を得て、分類に最適なグローバル構造に向けて各クライアントを最適化します。具体的には、ランダムシンプレックス ETF (Equiangular Tight Frame) として初期化し、ローカル更新中にすべてのクライアントのユニット最適化ターゲットとして修正します。すべてのクライアントがグローバル最適に収束することを学習していることを保証した後、各カテゴリにグローバル メモリ ベクトルを追加して、クライアント間のクラス内条件分布の偏りによって引き起こされるパラメーター変動を修正することを提案します。私たちの実験結果は、私たちの方法が異なるサイズのデータセットでより速い収束速度でパフォーマンスを改善できることを示しています。
One of the challenges in federated learning is the non-independent and identically distributed (non-iid) characteristics between heterogeneous devices, which cause significant differences in local updates and affect the performance of the central server. Although many studies have been proposed to address this challenge, they only focus on local training and aggregation processes to smooth the changes and fail to achieve high performance with deep learning models. Inspired by the phenomenon of neural collapse, we force each client to be optimized toward an optimal global structure for classification. Specifically, we initialize it as a random simplex Equiangular Tight Frame (ETF) and fix it as the unit optimization target of all clients during the local updating. After guaranteeing all clients are learning to converge to the global optimum, we propose to add a global memory vector for each category to remedy the parameter fluctuation caused by the bias of the intra-class condition distribution among clients. Our experimental results show that our method can improve the performance with faster convergence speed on different-size datasets.
updated: Fri Mar 31 2023 09:54:13 GMT+0000 (UTC)
published: Mon Mar 27 2023 05:29:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト