arXiv reaDer
GCsT:アクション認識のためのグラフ畳み込みスケルトントランスフォーマー
GCsT: Graph Convolutional Skeleton Transformer for Action Recognition
グラフ畳み込みネットワーク(GCN)は、スケルトンベースのアクション認識に有望なパフォーマンスを実現します。ただし、ほとんどのGCNベースの方法では、時空間グラフの畳み込みはグラフトポロジによって厳密に制限されますが、短期的な時間コンテキストのみをキャプチャするため、特徴抽出の柔軟性が不足します。この作業では、Transformerを導入することでGCNの制限に対処する、Graph Convolutional skeleton Transformer(GCsT)という名前の新しいアーキテクチャを紹介します。私たちのGCsTは、GCNの利点(つまり、階層とローカルトポロジ構造)を維持しながら、Transformerのすべての利点(つまり、動的な注意とグローバルコンテキスト)を採用しています。 GCsTでは、時空間GCNがローカル依存関係のキャプチャを強制し、Transformerがグローバルな時空間関係を動的に抽出します。さらに、提案されたGCsTは、骨格配列に存在する追加情報を追加することにより、より強力な表現能力を示します。 Transformerを組み込むことで、その情報をモデルにほとんど簡単に導入できます。 NTU RGB + D、NTU RGB + D 120、およびNorthwestern-UCLAデータセットで最先端のパフォーマンスを実現する広範な実験を実施することにより、提案されたGCsTを検証します。
Graph convolutional networks (GCNs) achieve promising performance for skeleton-based action recognition. However, in most GCN-based methods, the spatial-temporal graph convolution is strictly restricted by the graph topology while only captures the short-term temporal context, thus lacking the flexibility of feature extraction. In this work, we present a novel architecture, named Graph Convolutional skeleton Transformer (GCsT), which addresses limitations in GCNs by introducing Transformer. Our GCsT employs all the benefits of Transformer (i.e. dynamical attention and global context) while keeps the advantages of GCNs (i.e. hierarchy and local topology structure). In GCsT, the spatial-temporal GCN forces the capture of local dependencies while Transformer dynamically extracts global spatial-temporal relationships. Furthermore, the proposed GCsT shows stronger expressive capability by adding additional information present in skeleton sequences. Incorporating the Transformer allows that information to be introduced into the model almost effortlessly. We validate the proposed GCsT by conducting extensive experiments, which achieves the state-of-the-art performance on NTU RGB+D, NTU RGB+D 120 and Northwestern-UCLA datasets.
updated: Fri Sep 10 2021 02:23:11 GMT+0000 (UTC)
published: Tue Sep 07 2021 04:32:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト