Visual Object Tracking(VOT)は、Few-Shot Learning(FSL)の拡張タスクと見なすことができます。 FSLの概念は追跡において新しいものではなく、以前の作業で適用されていましたが、それらのほとんどは特定のタイプのFSLアルゴリズムに適合するように調整されており、実行速度を犠牲にする可能性があります。この作業では、より速い適応速度を提示しながら、多種多様なFSLアルゴリズムを採用できる一般化された2段階のフレームワークを提案します。第1段階では、シャム地域提案ネットワークを使用して潜在的な候補を効率的に提案し、第2段階では、これらの候補を数ショットの分類問題に分類するタスクを再定式化します。このような粗いパイプラインから細かいパイプラインに続いて、第1段階では、第2段階の有益なスパースサンプルを提案します。この場合、さまざまなFSLアルゴリズムをより便利かつ効率的に実行できます。第2段階の実証として、さまざまな目的関数、最適化方法、または解空間を使用した以前の作業からの最適化ベースの数ショット学習者のいくつかの形式を体系的に調査します。さらに、私たちのフレームワークでは、他のFSLアルゴリズムの大部分を視覚的な追跡に直接適用する必要があり、これら2つのトピックに関する研究者間の相互コミュニケーションが可能になります。主要なベンチマークであるVOT2018、OTB2015、NFS、UAV123、TrackingNet、およびGOT-10kに関する広範な実験が実施され、望ましいパフォーマンスの向上とリアルタイムの速度が実証されています。
Visual Object Tracking (VOT) can be seen as an extended task of Few-Shot Learning (FSL). While the concept of FSL is not new in tracking and has been previously applied by prior works, most of them are tailored to fit specific types of FSL algorithms and may sacrifice running speed. In this work, we propose a generalized two-stage framework that is capable of employing a large variety of FSL algorithms while presenting faster adaptation speed. The first stage uses a Siamese Regional Proposal Network to efficiently propose the potential candidates and the second stage reformulates the task of classifying these candidates to a few-shot classification problem. Following such a coarse-to-fine pipeline, the first stage proposes informative sparse samples for the second stage, where a large variety of FSL algorithms can be conducted more conveniently and efficiently. As substantiation of the second stage, we systematically investigate several forms of optimization-based few-shot learners from previous works with different objective functions, optimization methods, or solution space. Beyond that, our framework also entails a direct application of the majority of other FSL algorithms to visual tracking, enabling mutual communication between researchers on these two topics. Extensive experiments on the major benchmarks, VOT2018, OTB2015, NFS, UAV123, TrackingNet, and GOT-10k are conducted, demonstrating a desirable performance gain and a real-time speed.