arXiv reaDer
閉塞者の再識別のための動的プロトタイプマスク
Dynamic Prototype Mask for Occluded Person Re-Identification
近年、個人の再識別は目覚ましい改善を遂げましたが、さまざまな障害物によって引き起こされる一般的な閉塞のケースは、実際のアプリケーションシナリオでは未解決の問題です。既存の方法は、主に、目に見える部分を区別するために追加のネットワークによって提供される身体の手がかりを使用することによって、この問題に対処します。それにもかかわらず、アシスタントモデルとReIDデータセットの間の避けられないドメインギャップにより、効果的で効率的なモデルを取得することが非常に困難になっています。事前にトレーニングされた余分なネットワークから脱出し、エンドツーエンドのトレーニング可能なネットワークで自動調整を実現するために、2つの自明の事前知識に基づいた新しい動的プロトタイプマスク(DPM)を提案します。具体的には、まず、階層的セマンティクスを利用して、高品質の全体論的プロトタイプと遮蔽された入力画像の特徴表現との間の可視パターン空間を選択する階層型マスクジェネレーターを考案します。この条件下では、遮蔽された表現は、選択された部分空間で自発的に適切に整列される可能性があります。次に、高品質のホリスティックプロトタイプの特徴表現を強化し、より完全な特徴空間を提供するために、ヘッド強化モジュールを導入して、さまざまなヘッドが画像全体でさまざまなパターン表現を集約するように促します。閉塞された全体的な人物の再識別ベンチマークで実施された広範な実験的評価は、最先端の方法よりも優れたDPMのパフォーマンスを示しています。コードはhttps://github.com/stone96123/DPMでリリースされています。
Although person re-identification has achieved an impressive improvement in recent years, the common occlusion case caused by different obstacles is still an unsettled issue in real application scenarios. Existing methods mainly address this issue by employing body clues provided by an extra network to distinguish the visible part. Nevertheless, the inevitable domain gap between the assistant model and the ReID datasets has highly increased the difficulty to obtain an effective and efficient model. To escape from the extra pre-trained networks and achieve an automatic alignment in an end-to-end trainable network, we propose a novel Dynamic Prototype Mask (DPM) based on two self-evident prior knowledge. Specifically, we first devise a Hierarchical Mask Generator which utilizes the hierarchical semantic to select the visible pattern space between the high-quality holistic prototype and the feature representation of the occluded input image. Under this condition, the occluded representation could be well aligned in a selected subspace spontaneously. Then, to enrich the feature representation of the high-quality holistic prototype and provide a more complete feature space, we introduce a Head Enrich Module to encourage different heads to aggregate different patterns representation in the whole image. Extensive experimental evaluations conducted on occluded and holistic person re-identification benchmarks demonstrate the superior performance of the DPM over the state-of-the-art methods. The code is released at https://github.com/stone96123/DPM.
updated: Tue Jul 19 2022 03:31:13 GMT+0000 (UTC)
published: Tue Jul 19 2022 03:31:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト