オブジェクトの検出とデータの関連付けは、マルチオブジェクトトラッキング(MOT)システムの重要なコンポーネントです。 2つのコンポーネントが相互に依存しているという事実にもかかわらず、以前の作業では、多くの場合、異なる目的でトレーニングされた検出モジュールとデータ関連付けモジュールを別々に設計します。その結果、勾配を逆伝播してMOTシステム全体を最適化することができず、パフォーマンスが最適化されません。この問題に対処するために、最近の作業では、共同MOTフレームワークの下で検出モジュールとデータ関連付けモジュールを同時に最適化し、両方のモジュールでパフォーマンスが向上していることを示しています。この作業では、グラフニューラルネットワーク(GNN)に基づく共同MOTアプローチの新しいインスタンスを提案します。重要なアイデアは、GNNが空間ドメインと時間ドメインの両方で可変サイズのオブジェクト間の関係をモデル化できることです。これは、検出とデータ関連付けの識別機能を学習するために不可欠です。 MOT15 / 16/17/20データセットでの広範な実験を通じて、GNNベースの共同MOTアプローチの有効性を実証し、検出タスクとMOTタスクの両方の最先端のパフォーマンスを示します。
Object detection and data association are critical components in multi-object tracking (MOT) systems. Despite the fact that the two components are dependent on each other, prior work often designs detection and data association modules separately which are trained with different objectives. As a result, we cannot back-propagate the gradients and optimize the entire MOT system, which leads to sub-optimal performance. To address this issue, recent work simultaneously optimizes detection and data association modules under a joint MOT framework, which has shown improved performance in both modules. In this work, we propose a new instance of joint MOT approach based on Graph Neural Networks (GNNs). The key idea is that GNNs can model relations between variable-sized objects in both the spatial and temporal domains, which is essential for learning discriminative features for detection and data association. Through extensive experiments on the MOT15/16/17/20 datasets, we demonstrate the effectiveness of our GNN-based joint MOT approach and show the state-of-the-art performance for both detection and MOT tasks.