グラフ畳み込みネットワーク(GCN)は、スケルトンベースの行動認識の主要な方法として登場しました。ただし、それでも2つの問題、つまり、近隣制約と絡み合った時空間特徴表現に悩まされています。ほとんどの研究は、最初の問題を解決するためにグラフトポロジの設計を改善することに焦点を当てていますが、後者を完全に調査することはまだできていません。この作業では、3つのステップでGCNの上記の制限を克服するために、解きほぐされた時空間トランスフォーマー(DSTT)ブロックを設計します。 (iii)より多くの地域情報を活用するための地域情報の強化。そこで、GCN(つまり、ローカルトポロジ、時間的ダイナミクス、階層)とTransformer(つまり、グローバルコンテキスト、動的注意)の補完的な利点を活用するために、Hierarchical Graph Convolutional skeleton Transformer(HGCT)という名前の新しいアーキテクチャを提案します。 HGCTは軽量で、計算効率が高いです。定量分析は、HGCTの優位性と優れた解釈可能性を示しています。
Graph convolutional networks (GCNs) have emerged as dominant methods for skeleton-based action recognition. However, they still suffer from two problems, namely, neighborhood constraints and entangled spatiotemporal feature representations. Most studies have focused on improving the design of graph topology to solve the first problem but they have yet to fully explore the latter. In this work, we design a disentangled spatiotemporal transformer (DSTT) block to overcome the above limitations of GCNs in three steps: (i) feature disentanglement for spatiotemporal decomposition;(ii) global spatiotemporal attention for capturing correlations in the global context; and (iii) local information enhancement for utilizing more local information. Thereon, we propose a novel architecture, named Hierarchical Graph Convolutional skeleton Transformer (HGCT), to employ the complementary advantages of GCN (i.e., local topology, temporal dynamics and hierarchy) and Transformer (i.e., global context and dynamic attention). HGCT is lightweight and computationally efficient. Quantitative analysis demonstrates the superiority and good interpretability of HGCT.