arXiv reaDer
連合者の再識別のパフォーマンスの最適化:ベンチマークと分析
Optimizing Performance of Federated Person Re-identification: Benchmarking and Analysis
個人のReIDトレーニングでは、機密性の高い個人情報を含む膨大な量のデータを一元化する必要があるため、ますます厳しくなるデータプライバシー規制により、個人の再識別(ReID)の開発が制限されています。この問題に対処するために、連合学習(FedReID)を導入します。これは、新しい分散トレーニング手法である連合学習を人ReIDに実装することです。 FedReIDは、生データではなくモデルの更新をクライアントから中央サーバーに集約することにより、データのプライバシーを保護します。さらに、ベンチマーク分析を介して統計的不均一性の下でFedReIDのパフォーマンスを最適化します。最初に、強化されたアルゴリズム、2つのアーキテクチャ、および分散が大きい9人のReIDデータセットを使用してベンチマークを構築し、実際の統計的不均一性をシミュレートします。ベンチマークの結果は、統計的な不均一性の下でのFedReIDの洞察とボトルネックを示しています。これには、収束の課題や、大量のデータセットでのパフォーマンスの低下が含まれます。これらの洞察に基づいて、3つの最適化アプローチを提案します。(1)クライアントからサーバーへの知識の転送を改善することにより、FedReIDの収束を促進するために知識蒸留を採用します。 (2)クライアントクラスタリングを導入して、同様のデータ分布を持つクライアントを集約することにより、大規模なデータセットのパフォーマンスを向上させます。 (3)モデルがクライアントでどの程度適切にトレーニングされているかに応じて、集計の重みを動的に更新することにより、パフォーマンスを向上させるための余弦距離重みを提案します。広範な実験は、これらのアプローチがすべてのデータセットではるかに優れたパフォーマンスで満足のいく収束を達成することを示しています。 FedReIDは、より多くのコンピュータービジョンアプリケーションでの連合学習の実装と最適化に光を当てると信じています。
The increasingly stringent data privacy regulations limit the development of person re-identification (ReID) because person ReID training requires centralizing an enormous amount of data that contains sensitive personal information. To address this problem, we introduce federated person re-identification (FedReID) -- implementing federated learning, an emerging distributed training method, to person ReID. FedReID preserves data privacy by aggregating model updates, instead of raw data, from clients to a central server. Furthermore, we optimize the performance of FedReID under statistical heterogeneity via benchmark analysis. We first construct a benchmark with an enhanced algorithm, two architectures, and nine person ReID datasets with large variances to simulate the real-world statistical heterogeneity. The benchmark results present insights and bottlenecks of FedReID under statistical heterogeneity, including challenges in convergence and poor performance on datasets with large volumes. Based on these insights, we propose three optimization approaches: (1) We adopt knowledge distillation to facilitate the convergence of FedReID by better transferring knowledge from clients to the server; (2) We introduce client clustering to improve the performance of large datasets by aggregating clients with similar data distributions; (3) We propose cosine distance weight to elevate performance by dynamically updating the weights for aggregation depending on how well models are trained in clients. Extensive experiments demonstrate that these approaches achieve satisfying convergence with much better performance on all datasets. We believe that FedReID will shed light on implementing and optimizing federated learning on more computer vision applications.
updated: Tue May 24 2022 15:20:32 GMT+0000 (UTC)
published: Tue May 24 2022 15:20:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト