arXiv reaDer
アクショントランスフォーマー:短時間のポーズベースの人間の行動認識のための自己注意モデル
Action Transformer: A Self-Attention Model for Short-Time Pose-Based Human Action Recognition
純粋に注意に基づくディープニューラルネットワークは、設計者からの最小限のアーキテクチャの優先順位に依存して、いくつかのドメインにわたって成功しています。 Human Action Recognition(HAR)では、注意メカニズムは主に標準の畳み込み層または反復層の上に採用されており、全体的な一般化機能が向上しています。この作業では、アクショントランスフォーマー(AcT)を紹介します。これは、畳み込み層、反復層、注意深い層を組み合わせたより複雑なネットワークよりも一貫して優れた、シンプルで完全に自己注意的なアーキテクチャです。以前の人間の行動認識研究に基づいて、計算とエネルギーの要求を制限するために、提案されたアプローチは、小さな時間ウィンドウ上の2Dポーズ表現を活用し、正確で効果的なリアルタイムパフォーマンスのための低遅延ソリューションを提供します。さらに、リアルタイムの短時間のHARの正式なトレーニングと評価のベンチマークを構築する試みとして、新しい大規模データセットであるMPOSE2021をオープンソース化します。提案された方法論は、MPOSE2021で広範囲にテストされ、いくつかの最先端のアーキテクチャと比較され、AcTモデルの有効性が証明され、HARに関する将来の作業の基礎が築かれました。
Deep neural networks based purely on attention have been successful across several domains, relying on minimal architectural priors from the designer. In Human Action Recognition (HAR), attention mechanisms have been primarily adopted on top of standard convolutional or recurrent layers, improving the overall generalization capability. In this work, we introduce Action Transformer (AcT), a simple, fully self-attentional architecture that consistently outperforms more elaborated networks that mix convolutional, recurrent and attentive layers. In order to limit computational and energy requests, building on previous human action recognition research, the proposed approach exploits 2D pose representations over small temporal windows, providing a low latency solution for accurate and effective real-time performance. Moreover, we open-source MPOSE2021, a new large-scale dataset, as an attempt to build a formal training and evaluation benchmark for real-time, short-time HAR. The proposed methodology was extensively tested on MPOSE2021 and compared to several state-of-the-art architectures, proving the effectiveness of the AcT model and laying the foundations for future work on HAR.
updated: Mon Jan 10 2022 08:42:16 GMT+0000 (UTC)
published: Thu Jul 01 2021 16:53:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト