スケルトンベースのアクション認識のタスクは、人間の動きの複数の粒度と大きな変動のために、人間中心のシーン理解における中心的な課題のままです。既存のアプローチでは、通常、さまざまなモーションパターンに対して単一の神経表現を使用します。これは、限られたトレーニングデータでは、きめ細かいアクションクラスをキャプチャするのが困難です。前述の問題に対処するために、我々は、スケルトンベースのアクション分類のための新しいマルチグラニュラー時空間グラフネットワークを提案します。これは、粗粒度と細粒度のスケルトンモーションパターンを共同でモデル化します。この目的のために、2つのインターリーブされたブランチで構成されるデュアルヘッドグラフネットワークを開発します。これにより、2つの時空間解像度で効果的かつ効率的な方法で特徴を抽出できます。さらに、私たちのネットワークは、クロスヘッド通信戦略を利用して、両方のヘッドの表現を相互に強化します。 NTU RGB + D 60、NTU RGB + D 120、Kinetics-Skeletonの3つの大規模データセットで広範な実験を実施し、すべてのベンチマークで最先端のパフォーマンスを達成しました。これにより、私たちの方法。
The task of skeleton-based action recognition remains a core challenge in human-centred scene understanding due to the multiple granularities and large variation in human motion. Existing approaches typically employ a single neural representation for different motion patterns, which has difficulty in capturing fine-grained action classes given limited training data. To address the aforementioned problems, we propose a novel multi-granular spatio-temporal graph network for skeleton-based action classification that jointly models the coarse- and fine-grained skeleton motion patterns. To this end, we develop a dual-head graph network consisting of two interleaved branches, which enables us to extract features at two spatio-temporal resolutions in an effective and efficient manner. Moreover, our network utilises a cross-head communication strategy to mutually enhance the representations of both heads. We conducted extensive experiments on three large-scale datasets, namely NTU RGB+D 60, NTU RGB+D 120, and Kinetics-Skeleton, and achieves the state-of-the-art performance on all the benchmarks, which validates the effectiveness of our method.