ビデオの影は、フレーム間の影の変形が大きいため、検出が困難です。この作業では、ビデオの影検出方法を設計する際に、影の変形を考慮することが不可欠であると主張します。この目的のために、ビデオ内の大きな影の変形を処理するために特別に設計された、新しいタイプのビデオ自己注意モジュールである影変形注意軌道 (SODA) を紹介します。さらに、さまざまなビデオで統一された影の高レベルの表現を学習するようにネットワークを導くことを目的とした、影の対照的な学習メカニズム (SCOTCH) を提示します。アブレーション研究における 2 つの貢献の有効性を経験的に示します。さらに、SCOTCH と SODA が既存のビデオ シャドウ検出技術よりも大幅に優れていることを示します。コードは、この作業が承認された時点で利用可能になります。
Shadows in videos are difficult to detect because of the large shadow deformation between frames. In this work, we argue that accounting for the shadow deformation is essential when designing a video shadow detection method. To this end, we introduce the shadow deformation attention trajectory (SODA), a new type of video self-attention module, specially designed to handle the large shadow deformations in videos. Moreover, we present a shadow contrastive learning mechanism (SCOTCH) which aims at guiding the network to learn a high-level representation of shadows, unified across different videos. We demonstrate empirically the effectiveness of our two contributions in an ablation study. Furthermore, we show that SCOTCH and SODA significantly outperforms existing techniques for video shadow detection. Code will be available upon the acceptance of this work.