視覚追跡のための深層学習ベースの方法はかなりの進歩を遂げましたが、これらのスキームは十分なトレーニングのために大規模で高品質の注釈付きデータを必要とします。高価で網羅的な注釈を排除するために、視覚追跡のための自己教師あり学習を研究しています。この作業では、オブジェクトの外観の変化や背景の変化など、追跡中のさまざまなシーンの変化をシミュレートすることにより、十分なトレーニングデータを合成できるCrop-Transform-Paste操作を開発します。オブジェクトの状態はすべての合成データでわかっているため、既存のディープトラッカーは、人間の注釈なしで日常的な方法でトレーニングできます。個々のステップとして視覚表現学習を実行する一般的な自己教師あり学習方法とは異なり、提案された自己教師あり学習メカニズムは、トレーニングを実行するために既存の追跡フレームワークにシームレスに統合できます。広範な実験は、私たちの方法が1)数ショットの追跡シナリオで教師あり学習よりも好ましいパフォーマンスを達成することを示しています。 2)その設計により、オブジェクトの変形、オクルージョン、背景の乱雑さなど、さまざまな追跡の課題に対処できます。 3)教師あり学習と組み合わせて、パフォーマンスをさらに向上させることができます。特に、数ショットの追跡シナリオで効果的です。
While deep-learning based methods for visual tracking have achieved substantial progress, these schemes entail large-scale and high-quality annotated data for sufficient training. To eliminate expensive and exhaustive annotation, we study self-supervised learning for visual tracking. In this work, we develop the Crop-Transform-Paste operation, which is able to synthesize sufficient training data by simulating various kinds of scene variations during tracking, including appearance variations of objects and background changes. Since the object state is known in all synthesized data, existing deep trackers can be trained in routine ways without human annotation. Different from typical self-supervised learning methods performing visual representation learning as an individual step, the proposed self-supervised learning mechanism can be seamlessly integrated into any existing tracking framework to perform training. Extensive experiments show that our method 1) achieves favorable performance than supervised learning in few-shot tracking scenarios; 2) can deal with various tracking challenges such as object deformation, occlusion, or background clutter due to its design; 3) can be combined with supervised learning to further boost the performance, particularly effective in few-shot tracking scenarios.