このレポートでは、ユーザーがビデオ内のあらゆるオブジェクトを正確かつ効果的にセグメント化して追跡できるようにする Segment And Track Anything (SAMTrack) と呼ばれるフレームワークを紹介します。さらに、SAM-Track は、ユーザーが特定の要件に応じてビデオ内の複数のオブジェクトを選択して追跡できるようにするマルチモーダル インタラクション メソッドを採用しています。これらのインタラクション方法にはクリック、ストローク、テキストが含まれており、それぞれに独自の利点があり、組み合わせて使用できます。その結果、SAM-Track は、ドローン技術、自動運転、医療画像処理、拡張現実から生物学的分析に至るまで、さまざまな分野で使用できるようになります。 SAM-Track は、インタラクティブなキーフレーム セグメンテーション モデルであるセグメント エニシング モデル (SAM) と、VOT 2022 チャレンジの 4 つのトラックで 1 位を確保した当社提案の AOT ベースの追跡モデル (DeAOT) を融合し、ビデオ内のオブジェクト追跡を容易にします。 。さらに、SAM-Track には Grounding-DINO が組み込まれており、これによりフレームワークがテキストベースの対話をサポートできるようになります。当社は、DAVIS-2016 Val (92.0%)、DAVIS-2017 Test (79.2%) における SAM-Track の優れた機能と、さまざまなアプリケーションにおけるその実用性を実証しました。プロジェクト ページは https://github.com/zx-yang/Segment-and-Track-Anything から入手できます。
This report presents a framework called Segment And Track Anything (SAMTrack) that allows users to precisely and effectively segment and track any object in a video. Additionally, SAM-Track employs multimodal interaction methods that enable users to select multiple objects in videos for tracking, corresponding to their specific requirements. These interaction methods comprise click, stroke, and text, each possessing unique benefits and capable of being employed in combination. As a result, SAM-Track can be used across an array of fields, ranging from drone technology, autonomous driving, medical imaging, augmented reality, to biological analysis. SAM-Track amalgamates Segment Anything Model (SAM), an interactive key-frame segmentation model, with our proposed AOT-based tracking model (DeAOT), which secured 1st place in four tracks of the VOT 2022 challenge, to facilitate object tracking in video. In addition, SAM-Track incorporates Grounding-DINO, which enables the framework to support text-based interaction. We have demonstrated the remarkable capabilities of SAM-Track on DAVIS-2016 Val (92.0%), DAVIS-2017 Test (79.2%)and its practicability in diverse applications. The project page is available at: https://github.com/z-x-yang/Segment-and-Track-Anything.