ほとんどの行動認識ソリューションは、有益な時間的クリップを正確にカバーするために高密度サンプリングに依存しています。側頭葉を広範囲に検索することは、実際のアプリケーションにとってコストがかかります。この作業では、トリミングされたビデオの現在の行動認識バックボーンの推論効率の向上に焦点を当て、1つのアクションモデルが非情報機能を削除することで情報領域もカバーできることを示します。精度を損なうことなくモデルの推論効率を大幅に向上させる行動認識推論戦略であるSelectiveFeature Compression(SFC)を紹介します。カーネルサイズを圧縮してチャネル次元を縮小する以前の作業とは異なり、バックボーンパラメータを変更せずに時空間次元でフィーチャフローを圧縮することを提案します。 Kinetics-400、UCF101、ActivityNetでの実験では、SFCは、一般的に使用される30作物の高密度サンプリング手順と比較して、推論速度を6〜7倍、メモリ使用量を5〜6倍削減できると同時に、Top1の精度をわずかに向上させることができます。 SFCとそのすべてのコンポーネントを徹底的に定量的および定性的に評価し、SFCが重要なビデオ領域に注意を払い、行動認識のタスクに有益ではない時間的特徴を削除する方法を示します。
Most action recognition solutions rely on dense sampling to precisely cover the informative temporal clip. Extensively searching temporal region is expensive for a real-world application. In this work, we focus on improving the inference efficiency of current action recognition backbones on trimmed videos, and illustrate that one action model can also cover then informative region by dropping non-informative features. We present Selective Feature Compression (SFC), an action recognition inference strategy that greatly increase model inference efficiency without any accuracy compromise. Differently from previous works that compress kernel sizes and decrease the channel dimension, we propose to compress feature flow at spatio-temporal dimension without changing any backbone parameters. Our experiments on Kinetics-400, UCF101 and ActivityNet show that SFC is able to reduce inference speed by 6-7x and memory usage by 5-6x compared with the commonly used 30 crops dense sampling procedure, while also slightly improving Top1 Accuracy. We thoroughly quantitatively and qualitatively evaluate SFC and all its components and show how does SFC learn to attend to important video regions and to drop temporal features that are uninformative for the task of action recognition.