arXiv reaDer
MASTAF:数ショットのビデオ分類のためのモデルにとらわれない時空間アテンションフュージョンネットワーク
MASTAF: A Model-Agnostic Spatio-Temporal Attention Fusion Network for Few-shot Video Classification
モデルにとらわれない時空間アテンションフュージョンネットワークであるMASTAFを数ショットのビデオ分類に提案します。 MASTAFは、たとえば2D CNN、3D CNN、およびビデオTransformerを使用して、一般的なビデオの空間的および時間的表現から入力を受け取ります。次に、そのような表現を最大限に活用するために、自己注意モデルと相互注意モデルを使用して、重要な時空間領域を強調表示し、クラス間距離を増やし、クラス内距離を減らします。最後に、MASTAFは、軽量フュージョンネットワークと最近傍分類器を適用して、各クエリビデオを分類します。 MASTAFは、3つの数ショットのビデオ分類ベンチマーク(UCF101、HMDB51、およびSomething-Something-V2)で、最新のパフォーマンスを最大91.6%、69.5%、および60.7%向上させることを示しています。それぞれ、5方向のワンショットビデオ分類。
We propose MASTAF, a Model-Agnostic Spatio-Temporal Attention Fusion network for few-shot video classification. MASTAF takes input from a general video spatial and temporal representation,e.g., using 2D CNN, 3D CNN, and video Transformer. Then, to make the most of such representations, we use self- and cross-attention models to highlight the critical spatio-temporal region to increase the inter-class distance and decrease the intra-class distance. Last, MASTAF applies a lightweight fusion network and a nearest neighbor classifier to classify each query video. We demonstrate that MASTAF improves the state-of-the-art performance on three few-shot video classification benchmarks(UCF101, HMDB51, and Something-Something-V2), e.g., by up to 91.6%, 69.5%, and 60.7% for five-way one-shot video classification, respectively.
updated: Mon Mar 07 2022 20:37:37 GMT+0000 (UTC)
published: Wed Dec 08 2021 20:41:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト