ビデオ インスタンス シャドウ検出は、ビデオ内のペアのシャドウ オブジェクトの関連付けを同時に検出、セグメント化、関連付け、および追跡することを目的としています。この作業には、タスクに対する 3 つの重要な貢献があります。まず、SSIS-Track を設計します。これは、ペア トラッキングを使用し、カテゴリを指定せずにビデオ内のシャドウ オブジェクトの関連付けを抽出する新しいフレームワークです。特に、オブジェクト/影が数フレームの間一時的に遮られていても、ペアの追跡を維持するよう努めています。次に、ラベル付けされた画像とラベル付けされていないビデオの両方を活用し、SSIS-Track のパフォーマンスを最適化するために、アソシエーション サイクルの一貫性の喪失によって追跡機能を強化することで、時間的な一貫性を探ります。最後に、SOBA-VID を作成します。これは、トレーニング用の 5,863 フレームのラベルなしビデオ 232 本と、テスト用の 1,182 フレームのラベル付きビデオ 60 本を含む新しいデータセットです。実験結果は、SSIS-Track が、SOTA ビデオ トラッキングおよびインスタンス シャドウ検出メソッドから構築されたベースラインを大幅に上回っていることを示しています。最後に、いくつかのビデオ レベルのアプリケーションを紹介します。
Video instance shadow detection aims to simultaneously detect, segment, associate, and track paired shadow-object associations in videos. This work has three key contributions to the task. First, we design SSIS-Track, a new framework to extract shadow-object associations in videos with paired tracking and without category specification; especially, we strive to maintain paired tracking even the objects/shadows are temporarily occluded for several frames. Second, we leverage both labeled images and unlabeled videos, and explore temporal coherence by augmenting the tracking ability via an association cycle consistency loss to optimize SSIS-Track's performance. Last, we build SOBA-VID, a new dataset with 232 unlabeled videos of 5,863 frames for training and 60 labeled videos of 1,182 frames for testing. Experimental results show that SSIS-Track surpasses baselines built from SOTA video tracking and instance-shadow-detection methods by a large margin. In the end, we showcase several video-level applications.