arXiv reaDer
分離されたメモリ強化ネットワーク:ワンステップの人の検索のための効果的な特徴学習に向けて
Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search
人物検索の目的は、シーン画像からクエリ人物をローカライズして照合することです。高効率を実現するために、単一のネットワークを使用して歩行者の検出と識別のサブタスクを共同で処理するワンステップ方式が開発されました。現在のワンステップアプローチには2つの大きな課題があります。 1つは、複数のサブタスクの最適化目標間の相互干渉です。もう1つは、エンドツーエンドのトレーニング時にバッチサイズが小さいために発生する次善の識別機能学習です。これらの問題を克服するために、分離されたメモリ強化ネットワーク(DMRNet)を提案します。具体的には、複数の目的の競合を調整するために、標準の密結合パイプラインを簡素化し、深く分離されたマルチタスク学習フレームワークを確立します。さらに、識別機能の学習を促進するために、メモリ強化メカニズムを構築します。最近アクセスされたインスタンスの識別機能をメモリバンクにキューイングすることにより、このメカニズムは、ペアワイズメトリック学習の類似性ペア構築を強化します。保存された機能のエンコードの一貫性を高めるために、ネットワークの移動平均がこれらの機能の抽出に適用されます。このようにして、デュアルネットワークは相互に強化し、堅牢なソリューション状態に収束します。実験的に、提案された方法は、CUHK-SYSUおよびPRWデータセットで93.2%および46.9%のmAPを取得します。これは、既存のすべてのワンステップ方法を上回ります。
The goal of person search is to localize and match query persons from scene images. For high efficiency, one-step methods have been developed to jointly handle the pedestrian detection and identification sub-tasks using a single network. There are two major challenges in the current one-step approaches. One is the mutual interference between the optimization objectives of multiple sub-tasks. The other is the sub-optimal identification feature learning caused by small batch size when end-to-end training. To overcome these problems, we propose a decoupled and memory-reinforced network (DMRNet). Specifically, to reconcile the conflicts of multiple objectives, we simplify the standard tightly coupled pipelines and establish a deeply decoupled multi-task learning framework. Further, we build a memory-reinforced mechanism to boost the identification feature learning. By queuing the identification features of recently accessed instances into a memory bank, the mechanism augments the similarity pair construction for pairwise metric learning. For better encoding consistency of the stored features, a slow-moving average of the network is applied for extracting these features. In this way, the dual networks reinforce each other and converge to robust solution states. Experimentally, the proposed method obtains 93.2% and 46.9% mAP on CUHK-SYSU and PRW datasets, which exceeds all the existing one-step methods.
updated: Mon Feb 22 2021 06:19:45 GMT+0000 (UTC)
published: Mon Feb 22 2021 06:19:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト