連合学習(FL)を使用すると、分散クライアントは、トレーニングデータを各クライアントでローカルに保ちながら、予測用の共有モデルを学習できます。ただし、既存のFLでは、トレーニングに完全にラベル付けされたデータが必要です。これは、ラベル付けのコストが高く、専門知識が必要なため、取得が不便または実行不可能な場合があります。ラベルがないため、多くの現実的な設定でFLは実用的ではありません。自己監視学習は、FLを広く使用できるように、ラベルのないデータから学習することで、この課題に対処できます。自己監視学習アプローチである対照学習(CL)は、ラベルのないデータからデータ表現を効果的に学習できます。ただし、クライアントで収集された分散データは通常、独立しておらず、クライアント間で同一に分散(非IID)されており、各クライアントにはデータのクラスがほとんどないため、CLと学習された表現のパフォーマンスが低下します。この問題に取り組むために、我々は、特徴融合と近隣マッチングという2つのアプローチからなる連合対照学習フレームワークを提案します。これにより、クライアント間の統一された特徴空間が学習され、より良いデータ表現が得られます。機能融合は、より良いローカル学習のために、各クライアントに正確な対照情報としてリモート機能を提供します。近隣マッチングは、クライアント間で十分にクラスター化された機能を学習できるように、各クライアントのローカル機能をリモート機能にさらに調整します。広範な実験は、提案されたフレームワークの有効性を示しています。 IIDデータで他の方法より11%優れており、集中学習のパフォーマンスに匹敵します。
Federated learning (FL) enables distributed clients to learn a shared model for prediction while keeping the training data local on each client. However, existing FL requires fully-labeled data for training, which is inconvenient or sometimes infeasible to obtain due to the high labeling cost and the requirement of expertise. The lack of labels makes FL impractical in many realistic settings. Self-supervised learning can address this challenge by learning from unlabeled data such that FL can be widely used. Contrastive learning (CL), a self-supervised learning approach, can effectively learn data representations from unlabeled data. However, the distributed data collected on clients are usually not independent and identically distributed (non-IID) among clients, and each client may only have few classes of data, which degrades the performance of CL and learned representations. To tackle this problem, we propose a federated contrastive learning framework consisting of two approaches: feature fusion and neighborhood matching, by which a unified feature space among clients is learned for better data representations. Feature fusion provides remote features as accurate contrastive information to each client for better local learning. Neighborhood matching further aligns each client's local features to the remote features such that well-clustered features among clients can be learned. Extensive experiments show the effectiveness of the proposed framework. It outperforms other methods by 11% on IID data and matches the performance of centralized learning.