ビデオ アクション認識用のディープ ニューラル ネットワークは、モーション機能の代わりに背景やオブジェクトなどのショートカットの静的機能を利用することを簡単に学習します。これにより、(サッカー場ではなく) コンクリート面でのサッカーの試合など、非定型のビデオへの一般化が不十分になります。ただし、分布外 (OOD) データはまれであるため、静的バイアスの定量的評価は依然として困難な作業です。この論文では、アクション表現の静的バイアスを評価するために、バックグラウンドの静的キューの SCUB やフォアグラウンドの静的キューの SCUF などの新しい一連のベンチマークを合成します。さらに、バイアスを誘発するビデオ フレームを自動的に識別するシンプルで効果的なビデオ データ拡張技術、StillMix を提案します。同様の拡張技術とは異なり、StillMix は偏ったコンテンツを列挙したり、正確にセグメント化したりする必要はありません。広範な実験により、作成したベンチマークで既存の行動認識モデルを定量的に比較および分析し、それらの特性を明らかにします。 StillMix の有効性を検証し、TSM (Lin, Gan, and Han 2021) と Video Swin Transformer (Liu et al. 2021) が OOD アクション認識の SCUB で 10% 以上の精度で向上することを示しています。
Deep neural networks for video action recognition easily learn to utilize shortcut static features, such as background and objects instead of motion features. This results in poor generalization to atypical videos such as soccer playing on concrete surfaces (instead of soccer fields). However, due to the rarity of out-of-distribution (OOD) data, quantitative evaluation of static bias remains a difficult task. In this paper, we synthesize new sets of benchmarks to evaluate static bias of action representations, including SCUB for static cues in the background, and SCUF for static cues in the foreground. Further, we propose a simple yet effective video data augmentation technique, StillMix, that automatically identifies bias-inducing video frames; unlike similar augmentation techniques, StillMix does not need to enumerate or precisely segment biased content. With extensive experiments, we quantitatively compare and analyze existing action recognition models on the created benchmarks to reveal their characteristics. We validate the effectiveness of StillMix and show that it improves TSM (Lin, Gan, and Han 2021) and Video Swin Transformer (Liu et al. 2021) by more than 10% of accuracy on SCUB for OOD action recognition.