オブジェクトの時間的モデリングは、複数オブジェクト追跡(MOT)の重要な課題です。既存の方法は、モーションベースおよび外観ベースの類似性ヒューリスティックを介して検出を関連付けることによって追跡します。アソシエーションの後処理の性質により、ビデオシーケンスの時間的変動のエンドツーエンドの悪用が防止されます。この論文では、DETRを拡張し、ビデオ全体で追跡されたインスタンスをモデル化するための「追跡クエリ」を導入するMOTRを提案します。トラッククエリはフレームごとに転送および更新され、時間の経過とともに反復予測を実行します。トラッククエリと新生児オブジェクトクエリをトレーニングするために、トラックレット対応のラベル割り当てを提案します。さらに、時間的関係モデリングを強化するために、時間的集約ネットワークと集合的平均損失を提案します。 DanceTrackでの実験結果は、MOTRが最先端の方法であるByteTrackをHOTAメトリックで6.5%大幅に上回っていることを示しています。 MOT17では、MOTRは、アソシエーションのパフォーマンスにおいて、同時作業であるTrackFormerとTransTrackよりも優れています。 MOTRは、時間モデリングとTransformerベースのトラッカーに関する将来の研究のより強力なベースラインとして機能します。コードはhttps://github.com/megvii-model/MOTRで入手できます。
Temporal modeling of objects is a key challenge in multiple-object tracking (MOT). Existing methods track by associating detections through motion-based and appearance-based similarity heuristics. The post-processing nature of association prevents end-to-end exploitation of temporal variations in video sequence. In this paper, we propose MOTR, which extends DETR and introduces ``track query'' to model the tracked instances in the entire video. Track query is transferred and updated frame-by-frame to perform iterative prediction over time. We propose tracklet-aware label assignment to train track queries and newborn object queries. We further propose temporal aggregation network and collective average loss to enhance temporal relation modeling. Experimental results on DanceTrack show that MOTR significantly outperforms state-of-the-art method, ByteTrack by 6.5% on HOTA metric. On MOT17, MOTR outperforms our concurrent works, TrackFormer and TransTrack, on association performance. MOTR can serve as a stronger baseline for future research on temporal modeling and Transformer-based trackers.Code is available at https://github.com/megvii-model/MOTR.