arXiv reaDer
LEAPS: 学習可能な提案を使用したエンドツーエンドのワンステップ人物検索
LEAPS: End-to-End One-Step Person Search With Learnable Proposals
LEAPS という名前の学習可能な提案を使用して、エンドツーエンドのワンステップ人物検索アプローチを提案します。まばらで学習可能な一連の提案が与えられると、LEAPS は動的人物検索ヘッドを使用して、非最大抑制後処理なしで人物検出と対応する re-id 特徴生成を直接実行します。動的人物検索ヘッドは、検出ヘッドと新しい柔軟リードヘッドを備えています。私たちの柔軟な re-id ヘッドは、最初に動的な関心領域 (RoI) 操作を採用して、提案の識別的な RoI 機能を抽出します。次に、プレーンおよび階層型相互作用 re-id モジュールを使用して re-id 機能を生成します。識別可能な re-id 機能の学習をより適切にガイドするために、検出ヘッドでの二部マッチングではなく、多様な re-id サンプル マッチング戦略を導入します。包括的な実験により、提案された LEAPS の利点が明らかになり、CUHK-SYSU と PRW という 2 つの公人検索ベンチマークで良好なパフォーマンスが達成されました。同じ ResNet50 バックボーンを使用した場合、LEAPS は 55.0% の mAP スコアを取得し、文献で報告された最高の結果を 1.7% 上回っており、困難な PRW データセットで約 2 倍のスピードアップを達成しています。ソースコードとモデルが公開されます。
We propose an end-to-end one-step person search approach with learnable proposals, named LEAPS. Given a set of sparse and learnable proposals, LEAPS employs a dynamic person search head to directly perform person detection and corresponding re-id feature generation without non-maximum suppression post-processing. The dynamic person search head comprises a detection head and a novel flexible re-id head. Our flexible re-id head first employs a dynamic region-of-interest (RoI) operation to extract discriminative RoI features of the proposals. Then, it generates re-id features using a plain and a hierarchical interaction re-id module. To better guide discriminative re-id feature learning, we introduce a diverse re-id sample matching strategy, instead of bipartite matching in detection head. Comprehensive experiments reveal the benefit of the proposed LEAPS, achieving a favorable performance on two public person search benchmarks: CUHK-SYSU and PRW. When using the same ResNet50 backbone, our LEAPS obtains a mAP score of 55.0%, outperforming the best reported results in literature by 1.7%, while achieving around a two-fold speedup on the challenging PRW dataset. Our source code and models will be released.
updated: Tue Mar 21 2023 13:59:32 GMT+0000 (UTC)
published: Tue Mar 21 2023 13:59:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト