複数オブジェクトの追跡タスクにおける重要な課題は、追跡中のオブジェクトの時間的モデリングです。既存の検出による追跡方法は、空間的または外観の類似性などの単純なヒューリスティックを採用しています。そのような方法は、それらの共通性にもかかわらず、非常に単純であり、エンドツーエンドの方法でデータから時間的変動を学習する能力を欠いています。このホワイトペーパーでは、完全にエンドツーエンドの複数オブジェクト追跡フレームワークであるMOTRを紹介します。オブジェクトの長距離の時間的変化をモデル化することを学習します。時間的関連付けを暗黙的に実行し、以前の明示的なヒューリスティックを回避します。 DETRに基づいて構築されたMOTRは、「トラッククエリ」の概念を導入しています。各トラッククエリは、オブジェクトのトラック全体をモデル化します。フレームごとに転送および更新され、シームレスな方法で反復予測を実行します。トラッククエリとオブジェクトトラック間の1対1の割り当てには、トラックレット対応のラベル割り当てが提案されています。長期的な時間的関係を強化するために、集合的な平均損失とともに時間的集約ネットワークがさらに提案されます。実験結果は、MOTRが競争力のあるパフォーマンスを達成し、将来の研究のための強力なTransformerベースのベースラインとして機能できることを示しています。コードはhttps://github.com/megvii-model/MOTRで入手できます。
The key challenge in multiple-object tracking task is temporal modeling of the object under track. Existing tracking-by-detection methods adopt simple heuristics, such as spatial or appearance similarity. Such methods, in spite of their commonality, are overly simple and lack the ability to learn temporal variations from data in an end-to-end manner. In this paper, we present MOTR, a fully end-to-end multiple-object tracking framework. It learns to model the long-range temporal variation of the objects. It performs temporal association implicitly and avoids previous explicit heuristics. Built upon DETR, MOTR introduces the concept of "track query". Each track query models the entire track of an object. It is transferred and updated frame-by-frame to perform iterative predictions in a seamless manner. Tracklet-aware label assignment is proposed for one-to-one assignment between track queries and object tracks. Temporal aggregation network together with collective average loss is further proposed to enhance the long-range temporal relation. Experimental results show that MOTR achieves competitive performance and can serve as a strong Transformer-based baseline for future research. Code is available at https://github.com/megvii-model/MOTR.