リソースが限られたエッジデバイスで大規模で高性能な CNN を使用できるようにする、新しい分散学習パラダイムである FedDCT を紹介します。各クライアントが各トレーニング ラウンド中にフルサイズのニューラル ネットワークを個別にトレーニングする必要がある従来の FL アプローチとは対照的に、提案された FedDCT では、複数のクライアントのクラスターが大規模な深層学習モデルを複数のアンサンブルに分割することで共同でトレーニングすることができます。小さなサブモデルを作成し、プライバシーを維持しながら複数のデバイスで並行してトレーニングします。この共同トレーニング プロセスでは、同じクラスターのクライアントも互いに学習し、アンサンブル パフォーマンスをさらに向上させることができます。集約段階では、サーバーは、すべてのクラスターによってトレーニングされたすべてのアンサンブル モデルの加重平均を取得します。 FedDCT はメモリ要件を軽減し、ローエンド デバイスが FL に参加できるようにします。 CIFAR-10、CIFAR-100、および 2 つの実世界の医療データセット HAM10000 と VAIPE を含む、標準化されたデータセットに対して広範な実験を経験的に実施しています。実験結果は、FedDCT が興味深い収束動作を備えた現在の SOTA FL メソッドのセットよりも優れていることを示しています。さらに、他の既存のアプローチと比較して、FedDCT はより高い精度を達成し、サーバー側で追加のトレーニング コストを発生させることなく、テスト データセットで目的の精度を達成するために (メモリ要件が 4 ~ 8 分の 1 で) 通信ラウンド数を大幅に削減します。
We introduce FedDCT, a novel distributed learning paradigm that enables the usage of large, high-performance CNNs on resource-limited edge devices. As opposed to traditional FL approaches, which require each client to train the full-size neural network independently during each training round, the proposed FedDCT allows a cluster of several clients to collaboratively train a large deep learning model by dividing it into an ensemble of several small sub-models and train them on multiple devices in parallel while maintaining privacy. In this co-training process, clients from the same cluster can also learn from each other, further improving their ensemble performance. In the aggregation stage, the server takes a weighted average of all the ensemble models trained by all the clusters. FedDCT reduces the memory requirements and allows low-end devices to participate in FL. We empirically conduct extensive experiments on standardized datasets, including CIFAR-10, CIFAR-100, and two real-world medical datasets HAM10000 and VAIPE. Experimental results show that FedDCT outperforms a set of current SOTA FL methods with interesting convergence behaviors. Furthermore, compared to other existing approaches, FedDCT achieves higher accuracy and substantially reduces the number of communication rounds (with 4-8 times fewer memory requirements) to achieve the desired accuracy on the testing dataset without incurring any extra training cost on the server side.