arXiv reaDer
SimMC:教師なし人の再識別のためのスケルトン表現の単純なマスクされた対照学習
SimMC: Simple Masked Contrastive Learning of Skeleton Representations for Unsupervised Person Re-Identification
スケルトンベースの人物再識別(re-ID)の最近の進歩により、手作りのスケルトン記述子またはディープラーニングパラダイムを使用したスケルトン表現学習のいずれかを介して、印象的なパフォーマンスが得られます。ただし、通常、トレーニングには骨格の事前モデリングとラベル情報が必要であるため、これらの方法の適用は制限されます。このホワイトペーパーでは、教師なしスケルトンベースの人物re-IDに焦点を当て、人物re-IDのラベルなし3Dスケルトンから効果的な表現を学習するための一般的なSimple Masked Contrastive Learning(SimMC)フレームワークを紹介します。具体的には、各スケルトンシーケンス内のスケルトン機能を十分に活用するために、まず、マスクされたプロトタイプの対照学習(MPC)スキームを考案して、生のシーケンスからランダムにマスクされたさまざまなサブシーケンスから最も一般的なスケルトン機能(スケルトンプロトタイプ)をクラスター化し、ラベルを使用せずに識別可能なスケルトン表現を学習するためのスケルトン機能とさまざまなプロトタイプ。次に、同じシーケンス内の異なるサブシーケンスは通常、動きの連続性の性質により強い相関関係を享受することを考慮して、サブシーケンス間のシーケンス内パターンの一貫性をキャプチャして、より多くの学習を促進するために、マスクされたシーケンス内コントラスト学習(MIC)を提案します人の再IDのための効果的なスケルトン表現。広範な実験により、提案されたSimMCがほとんどの最先端のスケルトンベースの方法よりも優れていることが検証されます。さらに、既存のモデルのパフォーマンスを向上させる際のスケーラビリティと効率を示します。コードはhttps://github.com/Kali-Hac/SimMCで入手できます。
Recent advances in skeleton-based person re-identification (re-ID) obtain impressive performance via either hand-crafted skeleton descriptors or skeleton representation learning with deep learning paradigms. However, they typically require skeletal pre-modeling and label information for training, which leads to limited applicability of these methods. In this paper, we focus on unsupervised skeleton-based person re-ID, and present a generic Simple Masked Contrastive learning (SimMC) framework to learn effective representations from unlabeled 3D skeletons for person re-ID. Specifically, to fully exploit skeleton features within each skeleton sequence, we first devise a masked prototype contrastive learning (MPC) scheme to cluster the most typical skeleton features (skeleton prototypes) from different subsequences randomly masked from raw sequences, and contrast the inherent similarity between skeleton features and different prototypes to learn discriminative skeleton representations without using any label. Then, considering that different subsequences within the same sequence usually enjoy strong correlations due to the nature of motion continuity, we propose the masked intra-sequence contrastive learning (MIC) to capture intra-sequence pattern consistency between subsequences, so as to encourage learning more effective skeleton representations for person re-ID. Extensive experiments validate that the proposed SimMC outperforms most state-of-the-art skeleton-based methods. We further show its scalability and efficiency in enhancing the performance of existing models. Our codes are available at https://github.com/Kali-Hac/SimMC.
updated: Sun Jun 19 2022 05:15:53 GMT+0000 (UTC)
published: Thu Apr 21 2022 00:19:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト