グラフ畳み込みネットワーク (GCN) は、スケルトン ベースのアクション認識に最も一般的に使用される方法であり、優れたパフォーマンスを達成しています。意味的に意味のあるエッジを持つ隣接行列を生成することは、このタスクにとって特に重要ですが、そのようなエッジを抽出することは困難な問題です。これを解決するために、新しい階層分解グラフ (HD-Graph) を備えた階層分解グラフ畳み込みネットワーク (HD-GCN) アーキテクチャを提案します。提案された HD-GCN は、すべての関節ノードをいくつかのセットに効果的に分解して、構造的に隣接する主要なエッジと離れたエッジを抽出し、それらを使用して、人間の骨格の同じセマンティック空間にあるこれらのエッジを含む HD-Graph を構築します。さらに、HD グラフの支配的な階層エッジ セットを強調するために、アテンション ガイド付き階層集約 (A-HA) モジュールを導入します。さらに、モーション ストリームを使用せずにジョイント ストリームとボーン ストリームのみを使用する、新しい 6 ウェイ アンサンブル メソッドを適用します。提案されたモデルは評価され、NTU-RGB+D 60、NTU-RGB+D 120、Northwestern-UCLA の 3 つの大規模で一般的なデータセットで最先端のパフォーマンスを実現します。最後に、さまざまな比較実験でモデルの有効性を示します。
Graph convolutional networks (GCNs) are the most commonly used methods for skeleton-based action recognition and have achieved remarkable performance. Generating adjacency matrices with semantically meaningful edges is particularly important for this task, but extracting such edges is challenging problem. To solve this, we propose a hierarchically decomposed graph convolutional network (HD-GCN) architecture with a novel hierarchically decomposed graph (HD-Graph). The proposed HD-GCN effectively decomposes every joint node into several sets to extract major structurally adjacent and distant edges, and uses them to construct an HD-Graph containing those edges in the same semantic spaces of a human skeleton. In addition, we introduce an attention-guided hierarchy aggregation (A-HA) module to highlight the dominant hierarchical edge sets of the HD-Graph. Furthermore, we apply a new six-way ensemble method, which uses only joint and bone stream without any motion stream. The proposed model is evaluated and achieves state-of-the-art performance on three large, popular datasets: NTU-RGB+D 60, NTU-RGB+D 120, and Northwestern-UCLA. Finally, we demonstrate the effectiveness of our model with various comparative experiments.