arXiv reaDer
誰も置き去りにしない: 実世界のフェデレーテッド クラス - インクリメンタル ラーニング
No One Left Behind: Real-World Federated Class-Incremental Learning
フェデレーテッド ラーニング (FL) は、分散型ローカル クライアントのモデル パラメーターを集約することによる、最新の共同トレーニング フレームワークです。しかし、ほとんどの既存のモデルは、FL フレームワークのデータ カテゴリが既知であり、事前に固定されていると不合理に想定しています。ローカル クライアントが古いカテゴリを格納する限られたメモリの下で連続して新しいカテゴリを受け取ると、グローバル モデルが古いカテゴリの認識パフォーマンスを大幅に低下させます (壊滅的な忘却)。さらに、他のクライアントには見られない新しいカテゴリを収集する一部の新しいローカル クライアントは、FL トレーニングに不規則に導入される可能性があり、古いカテゴリの壊滅的な忘却をさらに悪化させます。上記の問題に取り組むために、古いカテゴリのローカルおよびグローバルな壊滅的な忘却に対処するための新しいローカル-グローバル反忘却 (LGA) モデルを提案します。具体的には、ローカルクライアントのクラスの不均衡に取り組み、ローカルの忘却を克服することを考慮して、カテゴリバランスの取れた勾配適応補償損失とカテゴリ勾配に起因する意味蒸留損失を開発します。それらは、さまざまな増分タスク内で固有のクラス関係の一貫性を確保しながら、忘れにくい古いカテゴリと忘れやすい古いカテゴリの異種の忘却速度のバランスを取ることができます。さらに、プロキシ サーバーは、異なるクライアント間の非 IID クラスの不均衡によって引き起こされるグローバルな忘却に対処するように設計されています。プライバシー保護の下でプロトタイプ勾配通信を介してローカルクライアントから新しいカテゴリの摂動プロトタイプ画像を収集し、自己教師付きプロトタイプ拡張を介してそれらを拡張して、最良の古いグローバルモデルを選択し、ローカル蒸留ゲインを改善します。代表的なデータセットでの実験により、他の比較方法に対するモデルの優れたパフォーマンスが検証されます。
Federated learning (FL) is a hot collaborative training framework via aggregating model parameters of decentralized local clients. However, most existing models unreasonably assume that data categories of FL framework are known and fxed in advance. It renders the global model to signifcantly degrade recognition performance on old categories (i.e., catastrophic forgetting), when local clients receive new categories consecutively under limited memory of storing old categories. Moreover, some new local clients that collect novel categories unseen by other clients may be introduced to the FL training irregularly, which further exacerbates the catastrophic forgetting on old categories. To tackle the above issues, we propose a novel Local-Global Anti-forgetting (LGA) model to address local and global catastrophic forgetting on old categories, which is a pioneering work to explore a global class-incremental model in the FL feld. Specifcally, considering tackling class imbalance of local client to surmount local forgetting, we develop a category-balanced gradient-adaptive compensation loss and a category gradient-induced semantic distillation loss. They can balance heterogeneous forgetting speeds of hard-to-forget and easy-to-forget old categories, while ensure intrinsic class relations consistency within different incremental tasks. Moreover, a proxy server is designed to tackle global forgetting caused by Non-IID class imbalance between different clients. It collects perturbed prototype images of new categories from local clients via prototype gradient communication under privacy preservation, and augments them via self-supervised prototype augmentation to choose the best old global model and improve local distillation gain. Experiments on representative datasets verify superior performance of our model against other comparison methods.
updated: Thu Feb 02 2023 06:41:02 GMT+0000 (UTC)
published: Thu Feb 02 2023 06:41:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト