arXiv reaDer
画像からビデオへの人の再識別のための時間的知識伝播
Temporal Knowledge Propagation for Image-to-Video Person Re-identification
  個人の再識別(Re-ID)の多くのシナリオでは、ギャラリーセットは多数の監視ビデオで構成され、クエリは単なる画像であるため、画像とビデオの間でRe-IDを実行する必要があります。ビデオと比較すると、静止画には一時的な情報がありません。また、画像とビデオの機能間の情報の非対称性により、画像とビデオのマッチングが困難になります。この問題を解決するために、ビデオ表現ネットワークによって学習された時間的知識を画像表現ネットワークに伝播する新しい時間的知識伝播(TKP)メソッドを提案します。具体的には、入力ビデオが与えられた場合、画像表現ネットワークを強制して、ビデオ表現ネットワークの出力を共有機能空間に適合させます。逆伝播により、時間的知識を転送して画像の特徴を強化し、情報の非対称性の問題を軽減することができます。追加の分類および統合されたトリプレット損失により、モデルは、画像からビデオへの再識別のための表現力豊かで識別的な画像およびビデオ機能を学習できます。広範な実験により、本手法の有効性と、広く使用されている2つのデータセットの全体的な結果が、最先端の手法を大きく上回ることが実証されています。コードは、https://github.com/guxinqian/TKPで入手できます。
In many scenarios of Person Re-identification (Re-ID), the gallery set consists of lots of surveillance videos and the query is just an image, thus Re-ID has to be conducted between image and videos. Compared with videos, still person images lack temporal information. Besides, the information asymmetry between image and video features increases the difficulty in matching images and videos. To solve this problem, we propose a novel Temporal Knowledge Propagation (TKP) method which propagates the temporal knowledge learned by the video representation network to the image representation network. Specifically, given the input videos, we enforce the image representation network to fit the outputs of video representation network in a shared feature space. With back propagation, temporal knowledge can be transferred to enhance the image features and the information asymmetry problem can be alleviated. With additional classification and integrated triplet losses, our model can learn expressive and discriminative image and video features for image-to-video re-identification. Extensive experiments demonstrate the effectiveness of our method and the overall results on two widely used datasets surpass the state-of-the-art methods by a large margin. Code is available at: https://github.com/guxinqian/TKP
updated: Thu Oct 10 2019 02:10:27 GMT+0000 (UTC)
published: Sun Aug 11 2019 11:22:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト