RGBTトラッキングは、コンピュータービジョンのコミュニティで大きな関心を集めていますが、この研究分野には、ディープRGBTトラッカーのトレーニングとRGBTトラッキング方法の包括的な評価の両方に不可欠な大規模で多様性の高いベンチマークデータセットがありません。この目的のために、この作業ではRGBT追跡(LasHeR)の大規模で多様性の高いベンチマークを提示します。 LasHeRは、合計730Kを超えるフレームペアを備えた1224の可視および熱赤外線ビデオペアで構成されています。各フレームペアは空間的に配置され、バウンディングボックスで手動で注釈が付けられるため、データセットに適切かつ高密度の注釈が付けられます。 LasHeRは、季節、天候、昼夜を問わず、さまざまなオブジェクトカテゴリ、カメラの視点、シーンの複雑さ、環境要因から非常に多様なキャプチャを行います。 LasHeRデータセットで12のRGBT追跡アルゴリズムの包括的なパフォーマンス評価を実施し、詳細な分析を提示して、RGBT追跡の研究室を明確にします。さらに、LasHeRの非整列バージョンをリリースして、実際のアプリケーションでより実用的なタスクである、整列のないRGBT追跡の研究関心を引き付けます。データセットと評価プロトコルは、https://github.com/BUGPLEASEOUT/LasHeRで入手できます。
RGBT tracking receives a surge of interest in the computer vision community, but this research field lacks a large-scale and high-diversity benchmark dataset, which is essential for both the training of deep RGBT trackers and the comprehensive evaluation of RGBT tracking methods. To this end, we present a Large-scale High-diversity benchmark for RGBT tracking (LasHeR) in this work. LasHeR consists of 1224 visible and thermal infrared video pairs with more than 730K frame pairs in total. Each frame pair is spatially aligned and manually annotated with a bounding box, making the dataset well and densely annotated. LasHeR is highly diverse capturing from a broad range of object categories, camera viewpoints, scene complexities and environmental factors across seasons, weathers, day and night. We conduct a comprehensive performance evaluation of 12 RGBT tracking algorithms on the LasHeR dataset and present detailed analysis to clarify the research room in RGBT tracking. In addition, we release the unaligned version of LasHeR to attract the research interest for alignment-free RGBT tracking, which is a more practical task in real-world applications. The datasets and evaluation protocols are available at: https://github.com/BUGPLEASEOUT/LasHeR.