arXiv reaDer
SPARTAN: 自己教師あり時空間トランスフォーマーによるグループ活動認識へのアプローチ
SPARTAN: Self-supervised Spatiotemporal Transformers Approach to Group Activity Recognition
このホワイト ペーパーでは、ラベルのないビデオ データを使用したグループ アクティビティ認識 (GAR) に対する、新しくシンプルで効果的な自己教師あり時空間トランスフォーマー (SPARTAN) アプローチを提案します。ビデオが与えられると、さまざまな空間パッチ サイズとフレーム レートを使用して、ローカルおよびグローバルの時空間ビューを作成します。提案された自己教師付き目標は、同じビデオを表すこれらの対照的なビューの特徴を一致させて、時空間ドメインの変動と一致させることを目的としています。私たちの知る限りでは、提案されたメカニズムは、ビデオ トランスフォーマーのエンコーダーを使用して GAR の監視が弱い設定を軽減する最初の作品の 1 つです。さらに、トランスフォーマーモデルの利点を利用して、提案されたアプローチは、時空間次元に沿った長期的な関係モデリングをサポートします。提案された SPARTAN アプローチは、MCA および MPCA メトリックに関して最先端の結果を大幅に上回ることにより、NBA およびバレーボール データセットを含む 2 つのグループ アクティビティ認識ベンチマークで良好に機能します。
In this paper, we propose a new, simple, and effective Self-supervised Spatio-temporal Transformers (SPARTAN) approach to Group Activity Recognition (GAR) using unlabeled video data. Given a video, we create local and global Spatio-temporal views with varying spatial patch sizes and frame rates. The proposed self-supervised objective aims to match the features of these contrasting views representing the same video to be consistent with the variations in spatiotemporal domains. To the best of our knowledge, the proposed mechanism is one of the first works to alleviate the weakly supervised setting of GAR using the encoders in video transformers. Furthermore, using the advantage of transformer models, our proposed approach supports long-term relationship modeling along spatio-temporal dimensions. The proposed SPARTAN approach performs well on two group activity recognition benchmarks, including NBA and Volleyball datasets, by surpassing the state-of-the-art results by a significant margin in terms of MCA and MPCA metrics.
updated: Thu Mar 23 2023 01:28:23 GMT+0000 (UTC)
published: Mon Mar 06 2023 16:58:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト