arXiv reaDer
PS-ARM: 人物検索のためのエンドツーエンドの注意認識関係ミキサー ネットワーク
PS-ARM: An End-to-End Attention-aware Relation Mixer Network for Person Search
人物検索は、さまざまな実世界のアプリケーションで困難な問題であり、トリミングされていないギャラリー画像からの共同人物検出とクエリ人物の再識別を目的としています。これまでの研究では豊富な特徴情報の学習に焦点を当てていましたが、外観の変形や背景の混乱の発生により、クエリの人物を検索することは依然として困難です。この論文では、人のRoI内の異なる局所領域間のグローバルな関係を利用し、さまざまな外観の変形やオクルージョンに対して堅牢にする、人物検索用の新しい注意認識関係ミキサー(ARM)モジュールを提案します。提案された ARM は、リレーション ミキサー ブロックと空間チャネル アテンション レイヤーで構成されます。リレーション ミキサー ブロックは、RoI 内の差別的なリレーション機能を効果的にキャプチャするために、空間的にアテンドされた空間ミキシングとチャネルごとにアテンドされたチャネル ミキシングを導入します。これらの識別関係機能は、前景と背景の識別可能性が共同の空間チャネル空間で強化される空間チャネルの注意を導入することによってさらに強化されます。当社の ARM モジュールは汎用的であり、きめ細かな監視やトポロジーの仮定に依存していないため、Faster R-CNN ベースの個人検索方法に簡単に統合できます。包括的な実験は、CUHKSYSU と PRW という 2 つの挑戦的なベンチマーク データセットで実行されます。当社の PS-ARM は、両方のデータセットで最先端のパフォーマンスを実現します。困難な PRW データセットでは、当社の PS-ARM は、同等の速度で動作しながら、SeqNet よりも mAP スコアで 5 の絶対ゲインを達成しています。
Person search is a challenging problem with various real-world applications, that aims at joint person detection and re-identification of a query person from uncropped gallery images. Although, the previous study focuses on rich feature information learning, it is still hard to retrieve the query person due to the occurrence of appearance deformations and background distractors. In this paper, we propose a novel attention-aware relation mixer (ARM) module for person search, which exploits the global relation between different local regions within RoI of a person and make it robust against various appearance deformations and occlusion. The proposed ARM is composed of a relation mixer block and a spatio-channel attention layer. The relation mixer block introduces a spatially attended spatial mixing and a channel-wise attended channel mixing for effectively capturing discriminative relation features within an RoI. These discriminative relation features are further enriched by introducing a spatio-channel attention where the foreground and background discriminability is empowered in a joint spatio-channel space. Our ARM module is generic and it does not rely on fine-grained supervision or topological assumptions, hence being easily integrated into any Faster R-CNN based person search methods. Comprehensive experiments are performed on two challenging benchmark datasets: CUHKSYSU and PRW. Our PS-ARM achieves state-of-the-art performance on both datasets. On the challenging PRW dataset, our PS-ARM achieves an absolute gain of 5 in the mAP score over SeqNet, while operating at a comparable speed.
updated: Fri Oct 07 2022 10:04:12 GMT+0000 (UTC)
published: Fri Oct 07 2022 10:04:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト