この論文では、教師なし単一オブジェクトトラッカー(USOT)を最初から学習することを提案します。 3つの主要な課題、つまり、移動オブジェクトの発見、豊富な時間的変動の活用、およびオンライン更新が、既存の教師なしトラッカーのパフォーマンスのボトルネックの主な原因であると特定しました。教師なしトラッカーと教師なしカウンターパートの間のギャップを狭めるために、3つの段階で構成される効果的な教師なし学習アプローチを提案します。まず、ランダムなトリミングの代わりに、教師なしオプティカルフローと動的計画法を使用して、順次移動するオブジェクトをサンプリングします。次に、単一フレームのペアを使用して、ナイーブなシャムトラッカーを最初からトレーニングします。第三に、新しいサイクルメモリ学習スキームを使用してトラッカーのトレーニングを継続します。これは、より長い時間スパンで実行され、トラッカーをオンラインで更新することもできます。広範な実験により、ラベルのないビデオから学習した提案されたUSOTは、最新の教師なしトラッカーを大幅に上回り、最近の教師ありディープトラッカーと同等のパフォーマンスを発揮することが示されています。コードはhttps://github.com/VISION-SJTU/USOTで入手できます。
In this paper, we propose to learn an Unsupervised Single Object Tracker (USOT) from scratch. We identify that three major challenges, i.e., moving object discovery, rich temporal variation exploitation, and online update, are the central causes of the performance bottleneck of existing unsupervised trackers. To narrow the gap between unsupervised trackers and supervised counterparts, we propose an effective unsupervised learning approach composed of three stages. First, we sample sequentially moving objects with unsupervised optical flow and dynamic programming, instead of random cropping. Second, we train a naive Siamese tracker from scratch using single-frame pairs. Third, we continue training the tracker with a novel cycle memory learning scheme, which is conducted in longer temporal spans and also enables our tracker to update online. Extensive experiments show that the proposed USOT learned from unlabeled videos performs well over the state-of-the-art unsupervised trackers by large margins, and on par with recent supervised deep trackers. Code is available at https://github.com/VISION-SJTU/USOT.