arXiv reaDer
マルチオブジェクトトラッキングにおける検出とReIDの競合を再考する
Rethinking the competition between detection and ReID in Multi-Object Tracking
バランスの取れた精度と速度により、検出と識別の埋め込みを共同で学習するワンショットモデルは、マルチオブジェクトトラッキング(MOT)で大きな注目を集めています。ただし、検出と再識別(ReID)の固有の違いと関係は、ワンショット追跡パラダイムで2つの分離されたタスクとして扱われるため、無意識のうちに見過ごされています。これにより、既存の2段階の方法と比較してパフォーマンスが低下します。この論文では、最初にこれら2つのタスクの推論プロセスを分析します。これにより、これら2つのタスク間の競争により、タスクに依存する表現の学習が必然的に破壊されることが明らかになります。この問題に取り組むために、自己関係と相互関係の設計を備えた新しい相互ネットワーク(REN)を提案し、各ブランチがタスク依存の表現をよりよく学習できるようにします。提案されたモデルは、有害なタスクの競合を軽減すると同時に、検出とReID間の連携を改善することを目的としています。さらに、ID埋め込みの関連付け機能を向上させるために、セマンティックレベルの不整合を防ぐスケールアウェアアテンションネットワーク(SAAN)を導入します。繊細に設計された2つのネットワークをワンショットオンラインMOTシステムに統合することにより、強力なMOTトラッカー、つまりCSTrackを構築します。私たちのトラッカーは、他のベルやホイッスルなしで、MOT16、MOT17、およびMOT20データセットで最先端のパフォーマンスを実現します。さらに、CSTrackは効率的で、単一の最新GPUで16.4 FPSで実行され、軽量バージョンでも34.6FPSで実行されます。完全なコードはhttps://github.com/JudasDie/SOTSでリリースされています。
Due to balanced accuracy and speed, one-shot models which jointly learn detection and identification embeddings, have drawn great attention in multi-object tracking (MOT). However, the inherent differences and relations between detection and re-identification (ReID) are unconsciously overlooked because of treating them as two isolated tasks in the one-shot tracking paradigm. This leads to inferior performance compared with existing two-stage methods. In this paper, we first dissect the reasoning process for these two tasks, which reveals that the competition between them inevitably would destroy task-dependent representations learning. To tackle this problem, we propose a novel reciprocal network (REN) with a self-relation and cross-relation design so that to impel each branch to better learn task-dependent representations. The proposed model aims to alleviate the deleterious tasks competition, meanwhile improve the cooperation between detection and ReID. Furthermore, we introduce a scale-aware attention network (SAAN) that prevents semantic level misalignment to improve the association capability of ID embeddings. By integrating the two delicately designed networks into a one-shot online MOT system, we construct a strong MOT tracker, namely CSTrack. Our tracker achieves the state-of-the-art performance on MOT16, MOT17 and MOT20 datasets, without other bells and whistles. Moreover, CSTrack is efficient and runs at 16.4 FPS on a single modern GPU, and its lightweight version even runs at 34.6 FPS. The complete code has been released at https://github.com/JudasDie/SOTS.
updated: Tue May 24 2022 11:48:32 GMT+0000 (UTC)
published: Fri Oct 23 2020 02:44:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト