arXiv reaDer
STAR-Transformer:人間の行動認識のための時空間クロスアテンショントランスフォーマー
STAR-Transformer: A Spatio-temporal Cross Attention Transformer for Human Action Recognition
行動認識では、時空間ビデオとスケルトン機能の組み合わせによって認識パフォーマンスが向上しますが、別のモデルとクロスモーダル データのバランス機能表現が必要です。これらの問題を解決するために、2 つのクロスモーダルな特徴を認識可能なベクトルとして効果的に表現できる時空間クロス (STAR) トランスフォーマーを提案します。まず、入力されたビデオとスケルトン シーケンスから、ビデオ フレームがグローバル グリッド トークンとして、スケルトンがジョイント マップ トークンとしてそれぞれ出力されます。これらのトークンはマルチクラス トークンに集約され、STAR-transformer に入力されます。 STAR トランスフォーマー エンコーダー レイヤーは、完全な自己注意 (FAttn) モジュールと、提案されているジグザグ時空間注意 (ZAttn) モジュールで構成されます。同様に、連続デコーダーは、FATtn モジュールと、提案されているバイナリ時空間注意 (BAttn) モジュールで構成されます。 STAR-transformer は、FAttn、ZAttn、および BAttn モジュールのペアリングを適切に配置することにより、時空間機能の効率的な多機能表現を学習します。 Penn-Action、NTU RGB+D 60、および 120 データセットに関する実験結果は、提案された方法が、以前の最先端の方法と比較してパフォーマンスの有望な改善を達成することを示しています。
In action recognition, although the combination of spatio-temporal videos and skeleton features can improve the recognition performance, a separate model and balancing feature representation for cross-modal data are required. To solve these problems, we propose Spatio-TemporAl cRoss (STAR)-transformer, which can effectively represent two cross-modal features as a recognizable vector. First, from the input video and skeleton sequence, video frames are output as global grid tokens and skeletons are output as joint map tokens, respectively. These tokens are then aggregated into multi-class tokens and input into STAR-transformer. The STAR-transformer encoder layer consists of a full self-attention (FAttn) module and a proposed zigzag spatio-temporal attention (ZAttn) module. Similarly, the continuous decoder consists of a FAttn module and a proposed binary spatio-temporal attention (BAttn) module. STAR-transformer learns an efficient multi-feature representation of the spatio-temporal features by properly arranging pairings of the FAttn, ZAttn, and BAttn modules. Experimental results on the Penn-Action, NTU RGB+D 60, and 120 datasets show that the proposed method achieves a promising improvement in performance in comparison to previous state-of-the-art methods.
updated: Fri Oct 14 2022 04:09:44 GMT+0000 (UTC)
published: Fri Oct 14 2022 04:09:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト