arXiv reaDer
歩行予測と正則化による単一画像からの着替え人の再識別
Cloth-Changing Person Re-identification from A Single Image with Gait Prediction and Regularization
着替え人の再識別(CC-ReID)は、同じ人物を異なる場所で長期間、たとえば数日にわたって照合することを目的としているため、着替えの課題に必然的に対応します。このホワイトペーパーでは、より困難な設定、つまり単一の画像からのCC-ReID問題の適切な処理に焦点を当てます。これにより、リアルタイムの監視アプリケーションで高効率で遅延のない歩行者識別が可能になります。具体的には、個人固有の布に依存しない歩行情報を活用して、Image ReIDモデルを駆動し、布にとらわれない表現を学習するための補助タスクとして、歩行認識を導入します。このフレームワークをGI-ReIDと呼びます。 GI-ReIDは、画像ReID-Streamと補助歩行認識ストリーム(Gait-Stream)で構成される2ストリームアーキテクチャを採用しています。高い計算効率のために推論で破棄されるGait-Streamは、トレーニング中にReID-Streamが布不変の生体認証モーション機能をキャプチャするように促すレギュレーターとして機能します。単一の画像から時間的な連続モーションキューを取得するために、Gait-Stream用のGait Sequence Prediction(GSP)モジュールを設計して、歩行情報を充実させます。最後に、効果的な知識の正則化のために、2つのストリームにわたる高レベルのセマンティクスの一貫性が適用されます。複数の画像ベースの布を変更するReIDベンチマーク(LTCC、PRCC、Real28、VC-Clothesなど)での実験は、GI-ReIDが最先端技術に対して有利に機能することを示しています。コードはhttps://github.com/jinx-USTC/GI-ReIDで入手できます。
Cloth-Changing person re-identification (CC-ReID) aims at matching the same person across different locations over a long-duration, e.g., over days, and therefore inevitably meets challenge of changing clothing. In this paper, we focus on handling well the CC-ReID problem under a more challenging setting, i.e., just from a single image, which enables high-efficiency and latency-free pedestrian identify for real-time surveillance applications. Specifically, we introduce Gait recognition as an auxiliary task to drive the Image ReID model to learn cloth-agnostic representations by leveraging personal unique and cloth-independent gait information, we name this framework as GI-ReID. GI-ReID adopts a two-stream architecture that consists of a image ReID-Stream and an auxiliary gait recognition stream (Gait-Stream). The Gait-Stream, that is discarded in the inference for high computational efficiency, acts as a regulator to encourage the ReID-Stream to capture cloth-invariant biometric motion features during the training. To get temporal continuous motion cues from a single image, we design a Gait Sequence Prediction (GSP) module for Gait-Stream to enrich gait information. Finally, a high-level semantics consistency over two streams is enforced for effective knowledge regularization. Experiments on multiple image-based Cloth-Changing ReID benchmarks, e.g., LTCC, PRCC, Real28, and VC-Clothes, demonstrate that GI-ReID performs favorably against the state-of-the-arts. Codes are available at https://github.com/jinx-USTC/GI-ReID.
updated: Sat Nov 20 2021 04:00:16 GMT+0000 (UTC)
published: Mon Mar 29 2021 12:10:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト