Federated Learning(FL)は、分散型トレーニングデータの大規模なコーパスを使用して分散モデルトレーニングを可能にするフレームワークです。既存の方法は、視覚タスクでモデルをトレーニングするために重要な内部表現を無視してモデルを集約します。システムと統計の不均一性(たとえば、高度に不均衡で非iidのデータ)は、モデルのトレーニングにさらに悪影響を及ぼします。この目的のために、分散データで学習された典型的な表現のマージンを使用してクライアントの偏差を計算し、それらをアテンションメカニズムを介してフェデレーション最適化を推進するために適用するFedProtoと呼ばれるメソッドを紹介します。さらに、FLモデルの精度、マージン、および特徴の不一致の関係を解明するために、FLで学習された特徴表現の統計的特性を分析する3つの方法を提案します。実験的分析では、FedProtoは、FLモデルの最大マージントレーニングを可能にすることにより、画像分類とセマンティックセグメンテーションベンチマーク全体で最先端の精度と収束率を示します。さらに、FedProtoは、ベースラインと比較してFLモデルの予測の不確実性を低減します。私たちの知る限り、これはセマンティックセグメンテーションなどの高密度予測タスクでFLモデルを評価する最初の作業です。
Federated Learning (FL) is a framework which enables distributed model training using a large corpus of decentralized training data. Existing methods aggregate models disregarding their internal representations, which are crucial for training models in vision tasks. System and statistical heterogeneity (e.g., highly imbalanced and non-i.i.d. data) further harm model training. To this end, we introduce a method, called FedProto, which computes client deviations using margins of prototypical representations learned on distributed data, and applies them to drive federated optimization via an attention mechanism. In addition, we propose three methods to analyse statistical properties of feature representations learned in FL, in order to elucidate the relationship between accuracy, margins and feature discrepancy of FL models. In experimental analyses, FedProto demonstrates state-of-the-art accuracy and convergence rate across image classification and semantic segmentation benchmarks by enabling maximum margin training of FL models. Moreover, FedProto reduces uncertainty of predictions of FL models compared to the baseline. To our knowledge, this is the first work evaluating FL models in dense prediction tasks, such as semantic segmentation.