arXiv reaDer
3Dスケルトンベースの人物の再識別のための局所性認識を備えた自己管理歩行エンコーディングアプローチ
A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D Skeleton Based Person Re-Identification
3Dスケルトンシーケンス内の歩行機能を介した人物の再識別(Re-ID)は、いくつかの利点を持つ新しく出現したトピックです。既存のソリューションは、手作りの記述子または教師付き歩行表現学習に依存しています。このペーパーは、ラベルなしのスケルトンデータを活用して、人物Re-IDの歩行表現を学習できる、自己監視歩行エンコーディングアプローチを提案します。具体的には、まず、ラベル付けされていないスケルトンシーケンスを逆に再構築することを学習して、自己監視を作成します。これには、より優れた歩行表現を取得するためのより高度なセマンティクスが含まれます。他の口実タスクもまた、自己管理学習をさらに改善するために探求されます。第2に、モーションの連続性が1つのスケルトンシーケンスの隣接するスケルトンと時間的に連続したスケルトンシーケンスに高い相関(3Dスケルトンデータでは局所性と呼ばれます)を与えるという事実に触発され、局所性を意識した注意メカニズムと局所性を意識した対比学習スキームを提案しますこれは、自己教師あり学習中に、シーケンス内レベルとシーケンス間レベルでそれぞれローカリティ認識を維持することを目的としています。最後に、局所性を意識した注意メカニズムと対照的な学習スキームによって学習されたコンテキストベクトルにより、Constrastive Attention-based Gait Encodings(CAGEs)という名前の新しい機能が、歩行を効果的に表現するように設計されています。経験的評価は、私たちのアプローチがスケルトンベースの同等物よりも15-40%ランク1の精度を大幅に上回っており、追加のRGBまたは深度情報を備えた多数のマルチモーダルメソッドよりも優れたパフォーマンスを実現することを示しています。コードは、https://github.com/Kali-Hac/Locality-Awareness-SGEで入手できます。
Person re-identification (Re-ID) via gait features within 3D skeleton sequences is a newly-emerging topic with several advantages. Existing solutions either rely on hand-crafted descriptors or supervised gait representation learning. This paper proposes a self-supervised gait encoding approach that can leverage unlabeled skeleton data to learn gait representations for person Re-ID. Specifically, we first create self-supervision by learning to reconstruct unlabeled skeleton sequences reversely, which involves richer high-level semantics to obtain better gait representations. Other pretext tasks are also explored to further improve self-supervised learning. Second, inspired by the fact that motion's continuity endows adjacent skeletons in one skeleton sequence and temporally consecutive skeleton sequences with higher correlations (referred as locality in 3D skeleton data), we propose a locality-aware attention mechanism and a locality-aware contrastive learning scheme, which aim to preserve locality-awareness on intra-sequence level and inter-sequence level respectively during self-supervised learning. Last, with context vectors learned by our locality-aware attention mechanism and contrastive learning scheme, a novel feature named Constrastive Attention-based Gait Encodings (CAGEs) is designed to represent gait effectively. Empirical evaluations show that our approach significantly outperforms skeleton-based counterparts by 15-40% Rank-1 accuracy, and it even achieves superior performance to numerous multi-modal methods with extra RGB or depth information. Our codes are available at https://github.com/Kali-Hac/Locality-Awareness-SGE.
updated: Mon Jul 05 2021 02:37:09 GMT+0000 (UTC)
published: Sat Sep 05 2020 16:06:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト