ビデオ インスタンス セグメンテーション (VIS) は、ビデオの分類、セグメンテーション、およびインスタンスの関連付けを同時に必要とするタスクです。最近の VIS アプローチは、RoI 関連の操作や 3D 畳み込みなど、この目標を達成するために洗練されたパイプラインに依存しています。対照的に、追加の追跡ヘッドを追加することにより、インスタンス セグメンテーション メソッド CondInst に基づくシンプルで効率的な単一ステージ VIS フレームワークを提示します。インスタンスの関連付けの精度を向上させるために、フレーム全体の埋め込みを追跡するための新しい双方向の時空間的対照学習戦略が提案されています。さらに、インスタンスごとの時間的一貫性スキームを利用して、時間的に一貫した結果を生成します。 YouTube-VIS-2019、YouTube-VIS-2021、および OVIS-2021 データセットで実施された実験は、提案された方法の有効性と効率を検証します。提案されたフレームワークが、他の多くのインスタンス レベルのビデオ関連付けタスクのシンプルで強力な代替手段として役立つことを願っています。
Video Instance Segmentation (VIS) is a task that simultaneously requires classification, segmentation, and instance association in a video. Recent VIS approaches rely on sophisticated pipelines to achieve this goal, including RoI-related operations or 3D convolutions. In contrast, we present a simple and efficient single-stage VIS framework based on the instance segmentation method CondInst by adding an extra tracking head. To improve instance association accuracy, a novel bi-directional spatio-temporal contrastive learning strategy for tracking embedding across frames is proposed. Moreover, an instance-wise temporal consistency scheme is utilized to produce temporally coherent results. Experiments conducted on the YouTube-VIS-2019, YouTube-VIS-2021, and OVIS-2021 datasets validate the effectiveness and efficiency of the proposed method. We hope the proposed framework can serve as a simple and strong alternative for many other instance-level video association tasks.