テスト段階で単一の初期エグザンプラから視覚オブジェクトを追跡することは、1ショット/数ショットの問題として広くキャストされています。つまり、初期適応のためのワンショット学習とオンライン適応のための数ショット学習です。最近の数ショットのオンライン適応方法は、オフラインフェーズでの複雑なメタ学習最適化を介して、大量の注釈付きトレーニングデータからの事前知識を組み込んでいます。これは、オンラインのディープトラッカーが迅速な適応を実現し、追跡における過剰適合のリスクを軽減するのに役立ちます。この論文では、オフライントレーニングを必要とせずに、数ショットのオンライン適応のためのシンプルで効果的な再帰的最小二乗推定量支援オンライン学習アプローチを提案します。これにより、モデルに組み込まれたメモリ保持メカニズムが以前に表示されたオブジェクトに関する知識を記憶できるようになるため、表示されたデータをトレーニングから安全に削除できます。これはまた、壊滅的な忘却を防ぐという点で、新たな継続学習分野と一定の類似点を持っています。このメカニズムにより、余分な計算コストをかけずに、最新のオンラインディープトラッカーの能力を明らかにすることができます。追跡のためのオンライン学習ファミリーの2つのネットワーク、つまりRT-MDNetの多層パーセプトロンとDiMPの畳み込みニューラルネットワークに基づいてアプローチを評価します。いくつかの挑戦的な追跡ベンチマークの一貫した改善は、その有効性と効率を示しています。
Tracking visual objects from a single initial exemplar in the testing phase has been broadly cast as a one-/few-shot problem, i.e., one-shot learning for initial adaptation and few-shot learning for online adaptation. The recent few-shot online adaptation methods incorporate the prior knowledge from large amounts of annotated training data via complex meta-learning optimization in the offline phase. This helps the online deep trackers to achieve fast adaptation and reduce overfitting risk in tracking. In this paper, we propose a simple yet effective recursive least-squares estimator-aided online learning approach for few-shot online adaptation without requiring offline training. It allows an in-built memory retention mechanism for the model to remember the knowledge about the object seen before, and thus the seen data can be safely removed from training. This also bears certain similarities to the emerging continual learning field in preventing catastrophic forgetting. This mechanism enables us to unveil the power of modern online deep trackers without incurring too much extra computational cost. We evaluate our approach based on two networks in the online learning families for tracking, i.e., multi-layer perceptrons in RT-MDNet and convolutional neural networks in DiMP. The consistent improvements on several challenging tracking benchmarks demonstrate its effectiveness and efficiency.