arXiv reaDer
Pose is all you need: The pose only group activity recognition system (POGARS)
追跡された人々のポーズのみを使用して実行されたグループ活動を予測するように設計された、ポーズのみのグループ活動認識システム(POGARS)と呼ばれる新しい深層学習ベースのグループ活動認識アプローチを紹介します。グループアクティビティ認識の既存のアプローチとは対照的に、POGARSは1D CNNを使用して、グループアクティビティに関与する個人の時空間ダイナミクスを学習し、ピクセルデータからの学習機能を放棄します。提案されたモデルは、空間的および時間的注意メカニズムを使用して、グループおよび個人のアクション分類を同時に実行するための個人的な重要性とマルチタスク学習を推測します。実験結果は、POGARSが、入力として追跡されたポーズのみを使用しているにもかかわらず、広く使用されているパブリックバレーボールデータセットで最先端の方法と比較して非常に競争力のある結果を達成することを確認しています。さらに、私たちの実験では、ポーズのみを入力として使用することで、POGARSはRGBを入力として使用する方法と比較して優れた一般化機能を備えていることが示されています。
We introduce a novel deep learning based group activity recognition approach called the Pose Only Group Activity Recognition System (POGARS), designed to use only tracked poses of people to predict the performed group activity. In contrast to existing approaches for group activity recognition, POGARS uses 1D CNNs to learn spatiotemporal dynamics of individuals involved in a group activity and forgo learning features from pixel data. The proposed model uses a spatial and temporal attention mechanism to infer person-wise importance and multi-task learning for simultaneously performing group and individual action classification. Experimental results confirm that POGARS achieves highly competitive results compared to state-of-the-art methods on a widely used public volleyball dataset despite only using tracked pose as input. Further our experiments show by using pose only as input, POGARS has better generalization capabilities compared to methods that use RGB as input.
updated: Mon Aug 09 2021 17:16:04 GMT+0000 (UTC)
published: Mon Aug 09 2021 17:16:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト