オンラインマルチオブジェクトトラッキング(MOT)は、コンピュータービジョンとインテリジェントな車両プラットフォームの長年のタスクです。現在、主なパラダイムは検出による追跡であり、このパラダイムの主な難しさは、現在の候補の検出を過去のトラックレットに関連付ける方法です。ただし、MOTシナリオでは、各履歴トラックレットはオブジェクトシーケンスで構成されますが、各候補検出は単なるフラットイメージであり、オブジェクトシーケンスの時間的特徴がありません。現在の候補の検出と履歴トラックレットの機能の違いにより、オブジェクトの関連付けがはるかに困難になります。したがって、我々は、相互表現空間における現在の候補検出と履歴シーケンスとの間の時空間表現を学習する時空間相互表現学習(STURE)アプローチを提案します。歴史的なトラックレットの場合、検出学習ネットワークは、相互表現空間でシーケンス学習ネットワークの表現と一致するように強制されます。提案されたアプローチは、オブジェクトの関連付けでさまざまな設計された損失を使用することにより、より特徴的な検出およびシーケンス表現を抽出することができます。その結果、時空間特徴を相互に学習して現在の検出特徴を強化し、特徴の違いを緩和することができます。 STUREの堅牢性を証明するために、STUREは公開MOTチャレンジベンチマークに適用され、ID保存メトリックに基づくさまざまな最先端のオンラインMOTトラッカーと比較して優れたパフォーマンスを発揮します。
Online multi-object tracking (MOT) is a longstanding task for computer vision and intelligent vehicle platform. At present, the main paradigm is tracking-by-detection, and the main difficulty of this paradigm is how to associate current candidate detections with historical tracklets. However, in the MOT scenarios, each historical tracklet is composed of an object sequence, while each candidate detection is just a flat image, which lacks temporal features of the object sequence. The feature difference between current candidate detections and historical tracklets makes the object association much harder. Therefore, we propose a Spatial-Temporal Mutual Representation Learning (STURE) approach which learns spatial-temporal representations between current candidate detections and historical sequences in a mutual representation space. For historical trackelets, the detection learning network is forced to match the representations of sequence learning network in a mutual representation space. The proposed approach is capable of extracting more distinguishing detection and sequence representations by using various designed losses in object association. As a result, spatial-temporal feature is learned mutually to reinforce the current detection features, and the feature difference can be relieved. To prove the robustness of the STURE, it is applied to the public MOT challenge benchmarks and performs well compared with various state-of-the-art online MOT trackers based on identity-preserving metrics.