このホワイトペーパーでは、ビデオ認識用のトランスベースのフレームワークであるVTNについて説明します。ビジョントランスフォーマーの最近の開発に触発されて、3D ConvNetsに依存するビデオアクション認識の標準的なアプローチを廃止し、ビデオシーケンス情報全体に注意を払ってアクションを分類する方法を導入します。私たちのアプローチは一般的であり、任意の2D空間ネットワークの上に構築されます。ウォールランタイムに関しては、他の最先端の方法と比較して競争力のある精度を維持しながら、16.1倍高速にトレーニングし、推論中に5.1倍高速に実行します。必要なGFLOPを1.5分の1に抑えながら、1回のエンドツーエンドパスでビデオ全体の分析を可能にします。 Kinetics-400の競合結果を報告し、VTNプロパティのアブレーション研究と精度と推論速度のトレードオフを示します。私たちのアプローチが新しいベースラインとして機能し、ビデオ認識ドメインで新たな研究を開始することを願っています。コードとモデルは、https://github.com/bomri/SlowFast/blob/master/projects/vtn/README.mdで入手できます。
This paper presents VTN, a transformer-based framework for video recognition. Inspired by recent developments in vision transformers, we ditch the standard approach in video action recognition that relies on 3D ConvNets and introduce a method that classifies actions by attending to the entire video sequence information. Our approach is generic and builds on top of any given 2D spatial network. In terms of wall runtime, it trains 16.1× faster and runs 5.1× faster during inference while maintaining competitive accuracy compared to other state-of-the-art methods. It enables whole video analysis, via a single end-to-end pass, while requiring 1.5× fewer GFLOPs. We report competitive results on Kinetics-400 and present an ablation study of VTN properties and the trade-off between accuracy and inference speed. We hope our approach will serve as a new baseline and start a fresh line of research in the video recognition domain. Code and models are available at: https://github.com/bomri/SlowFast/blob/master/projects/vtn/README.md