少数ショットビデオ分類のためのモデルに依存しない時空間的注意融合ネットワークであるMASTAFを提案します。 MASTAF は、たとえば 2D CNN、3D CNN、および Video Transformer を使用して、一般的なビデオの空間的および時間的表現から入力を取得します。次に、そのような表現を最大限に活用するために、自己注意モデルと相互注意モデルを使用して重要な時空間領域を強調し、クラス間変動を増やし、クラス内変動を減らします。最後に、MASTAF は軽量フュージョン ネットワークと最近傍分類子を適用して、各クエリ ビデオを分類します。 MASTAF が 3 つの少数ショット ビデオ分類ベンチマーク (UCF101、HMDB51、Something-Something-V2) で最先端のパフォーマンスを向上させることを実証します。それぞれ 5 方向のワンショット ビデオ分類。
We propose MASTAF, a Model-Agnostic Spatio-Temporal Attention Fusion network for few-shot video classification. MASTAF takes input from a general video spatial and temporal representation,e.g., using 2D CNN, 3D CNN, and Video Transformer. Then, to make the most of such representations, we use self- and cross-attention models to highlight the critical spatio-temporal region to increase the inter-class variations and decrease the intra-class variations. Last, MASTAF applies a lightweight fusion network and a nearest neighbor classifier to classify each query video. We demonstrate that MASTAF improves the state-of-the-art performance on three few-shot video classification benchmarks(UCF101, HMDB51, and Something-Something-V2), e.g., by up to 91.6%, 69.5%, and 60.7% for five-way one-shot video classification, respectively.