視覚的な追跡は、過去数十年で大幅に改善されました。既存の最先端のトラッカーのほとんどは、1) 現実世界の条件を無視して、理想的な条件でのパフォーマンスを目指すだけです。 2) 豊富な時間的コンテキストを無視して、検出による追跡パラダイムを採用する。 3)時間情報をテンプレートに統合するだけであり、連続するフレーム間の時間コンテキストが十分に活用されるには程遠い。これらの問題に対処するために、時間的コンテキストを効率的に利用できる 2 レベルのフレームワーク (TCTrack) を提案します。これに基づいて、実世界の視覚追跡のためのより強力なバージョン、つまり TCTrack++ を提案します。これは、特徴と類似性マップの 2 つのレベルに要約されます。具体的には、特徴抽出のために、時間情報を使用して空間特徴を強化するためのアテンションベースの時間適応畳み込みを提案します。これは、畳み込みの重みを動的に調整することによって実現されます。類似度マップの改良のために、時間的知識を効率的にエンコードし、それをデコードして類似度マップを正確に改良するための適応型時間変換器を導入します。パフォーマンスをさらに向上させるために、カリキュラム学習戦略を追加で導入します。また、実環境でのパフォーマンスを測定するオンライン評価も採用しています。 8 つのよく知られたベンチマークに関する徹底的な実験により、TCTrack++ の優位性が実証されました。現実世界のテストでは、TCTrack++ が現実世界のアプリケーションで容易に使用できることを直接検証します。
Visual tracking has made significant improvements in the past few decades. Most existing state-of-the-art trackers 1) merely aim for performance in ideal conditions while overlooking the real-world conditions; 2) adopt the tracking-by-detection paradigm, neglecting rich temporal contexts; 3) only integrate the temporal information into the template, where temporal contexts among consecutive frames are far from being fully utilized. To handle those problems, we propose a two-level framework (TCTrack) that can exploit temporal contexts efficiently. Based on it, we propose a stronger version for real-world visual tracking, i.e., TCTrack++. It boils down to two levels: features and similarity maps. Specifically, for feature extraction, we propose an attention-based temporally adaptive convolution to enhance the spatial features using temporal information, which is achieved by dynamically calibrating the convolution weights. For similarity map refinement, we introduce an adaptive temporal transformer to encode the temporal knowledge efficiently and decode it for the accurate refinement of the similarity map. To further improve the performance, we additionally introduce a curriculum learning strategy. Also, we adopt online evaluation to measure performance in real-world conditions. Exhaustive experiments on 8 wellknown benchmarks demonstrate the superiority of TCTrack++. Real-world tests directly verify that TCTrack++ can be readily used in real-world applications.