複数オブジェクト追跡(MOT)タスクの重要な課題は、追跡中のオブジェクトの時間的モデリングです。既存の検出による追跡方法は、空間的または外観の類似性などの単純なヒューリスティックを採用しています。このような方法は、共通性があるにもかかわらず、非常に単純であり、オクルージョンによる追跡などの複雑なバリエーションをモデル化するには不十分です。本質的に、既存の方法はデータから時間的変動を学習する能力を欠いています。このホワイトペーパーでは、最初の完全なエンドツーエンドの複数オブジェクト追跡フレームワークであるMOTRを紹介します。オブジェクトの長距離の時間的変化をモデル化することを学習します。時間的関連付けを暗黙的に実行し、以前の明示的なヒューリスティックを回避します。 TransformerとDETRに基づいて構築されたMOTRは、「トラッククエリ」の概念を導入しています。各トラッククエリは、オブジェクトのトラック全体をモデル化します。フレームごとに転送および更新され、オブジェクトの検出と追跡をシームレスに実行します。マルチフレームトレーニングと組み合わせた時間集約ネットワークは、長距離の時間的関係をモデル化するために提案されています。実験結果は、MOTRが最先端のパフォーマンスを達成することを示しています。コードはhttps://github.com/megvii-model/MOTRで入手できます。
The key challenge in multiple-object tracking (MOT) task is temporal modeling of the object under track. Existing tracking-by-detection methods adopt simple heuristics, such as spatial or appearance similarity. Such methods, in spite of their commonality, are overly simple and insufficient to model complex variations, such as tracking through occlusion. Inherently, existing methods lack the ability to learn temporal variations from data. In this paper, we present MOTR, the first fully end-to-end multiple-object tracking framework. It learns to model the long-range temporal variation of the objects. It performs temporal association implicitly and avoids previous explicit heuristics. Built on Transformer and DETR, MOTR introduces the concept of "track query". Each track query models the entire track of an object. It is transferred and updated frame-by-frame to perform object detection and tracking, in a seamless manner. Temporal aggregation network combined with multi-frame training is proposed to model the long-range temporal relation. Experimental results show that MOTR achieves state-of-the-art performance. Code is available at https://github.com/megvii-model/MOTR.