ビデオパノプティコンセグメンテーション(VPS)では、一貫したパノプティコンセグメンテーションを生成し、ビデオフレーム全体のすべてのピクセルに対してIDを追跡する必要があります。既存の方法は、主に、一貫したパノラマセグメンテーションを維持するためのトレーニング済みインスタンスの埋め込みに基づいています。ただし、それらは必然的に、小さなオブジェクト、類似した外観であるが一貫性のないアイデンティティ、オクルージョン、および強力なインスタンスの輪郭の変形の課題に対処するのに苦労します。これらの問題に対処するために、単一のトラッカーの制限を排除しようとする軽量で共同の追跡モデルであるHybridTrackerを紹介します。 HybridTrackerは、ピクセルトラッカーとインスタンストラッカーを並行して実行して、一致するマトリックスに融合される関連マトリックスを取得します。インスタンストラッカーでは、フレーム間のマッチングの安定性を確保するために、微分可能なマッチングレイヤーを設計します。ピクセルトラッカーでは、推定されたオプティカルフローが与えられた場合に、異なるフレームの同じインスタンスのダイス係数を計算し、Intersection Over Union(IoU)マトリックスを形成します。さらに、オクルージョンと輪郭変形の課題を解決するために、推論中に相互チェックと時間的整合性の制約を提案します。広範な実験により、HybridTrackerはCityscapes-VPSおよびVIPERデータセットの最先端の方法よりも優れていることが実証されています。
Video Panoptic Segmentation (VPS) requires generating consistent panoptic segmentation and tracking identities to all pixels across video frames. Existing methods are mainly based on the trained instance embedding to maintain consistent panoptic segmentation. However, they inevitably struggle to cope with the challenges of small objects, similar appearance but inconsistent identities, occlusion, and strong instance contour deformations. To address these problems, we present HybridTracker, a lightweight and joint tracking model attempting to eliminate the limitations of the single tracker. HybridTracker performs pixel tracker and instance tracker in parallel to obtain the association matrices, which are fused into a matching matrix. In the instance tracker, we design a differentiable matching layer, ensuring the stability of inter-frame matching. In the pixel tracker, we compute the dice coefficient of the same instance of different frames given the estimated optical flow, forming the Intersection Over Union (IoU) matrix. We additionally propose mutual check and temporal consistency constraints during inference to settle the occlusion and contour deformation challenges. Extensive experiments demonstrate that HybridTracker outperforms state-of-the-art methods on Cityscapes-VPS and VIPER datasets.