このテクニカルレポートは、追加データを使用せずに、Kinetics-400の小さなサブセット(Kinetics400ViPriors)でアクション認識タスクを解決するためのアプローチ「Knights」を示しています。私たちのアプローチには、最先端の時間的対照的自己監視事前トレーニング、ビデオトランスフォーマーモデル、オプティカルフローモダリティの3つの主要コンポーネントがあります。標準のテスト時間拡張の使用に加えて、提案されたソリューションは、Kinetics400ViPriorsテストセットで73%を達成します。これは、データ効率の高いコンピュータービジョンのアクション認識チャレンジであるICCV2021の他のすべてのエントリの中で最高です。
This technical report presents our approach "Knights" to solve the action recognition task on a small subset of Kinetics-400 i.e. Kinetics400ViPriors without using any extra-data. Our approach has 3 main components: state-of-the-art Temporal Contrastive self-supervised pretraining, video transformer models, and optical flow modality. Along with the use of standard test-time augmentation, our proposed solution achieves 73% on Kinetics400ViPriors test set, which is the best among all of the other entries Visual Inductive Priors for Data-Efficient Computer Vision's Action Recognition Challenge, ICCV 2021.