グラフ畳み込みネットワーク(GCN)は広く使用されており、スケルトンベースのアクション認識で目覚ましい結果を達成しています。 GCNでは、グラフトポロジが特徴の集約を支配するため、代表的な特徴を抽出するための鍵となります。この作業では、スケルトンベースのアクション認識のために、さまざまなトポロジを動的に学習し、さまざまなチャネルのジョイント機能を効果的に集約するための、新しいチャネルワイズトポロジリファインメントグラフ畳み込み(CTR-GC)を提案します。提案されたCTR-GCは、すべてのチャネルの一般的な事前定義として共有トポロジを学習し、各チャネルのチャネル固有の相関関係でそれを改良することにより、チャネルごとのトポロジをモデル化します。私たちの改良方法は、いくつかの追加パラメータを導入し、チャネルごとのトポロジのモデリングの難しさを大幅に軽減します。さらに、グラフの畳み込みを統一された形式に再定式化することにより、CTR-GCがグラフの畳み込みの厳密な制約を緩和し、より強力な表現機能につながることがわかります。 CTR-GCを時間モデリングモジュールと組み合わせて、CTR-GCNという名前の強力なグラフ畳み込みネットワークを開発します。これは、NTU RGB + D、NTU RGB + D 120、およびNW-UCLAデータセットの最先端の方法を大幅に上回っています。
Graph convolutional networks (GCNs) have been widely used and achieved remarkable results in skeleton-based action recognition. In GCNs, graph topology dominates feature aggregation and therefore is the key to extracting representative features. In this work, we propose a novel Channel-wise Topology Refinement Graph Convolution (CTR-GC) to dynamically learn different topologies and effectively aggregate joint features in different channels for skeleton-based action recognition. The proposed CTR-GC models channel-wise topologies through learning a shared topology as a generic prior for all channels and refining it with channel-specific correlations for each channel. Our refinement method introduces few extra parameters and significantly reduces the difficulty of modeling channel-wise topologies. Furthermore, via reformulating graph convolutions into a unified form, we find that CTR-GC relaxes strict constraints of graph convolutions, leading to stronger representation capability. Combining CTR-GC with temporal modeling modules, we develop a powerful graph convolutional network named CTR-GCN which notably outperforms state-of-the-art methods on the NTU RGB+D, NTU RGB+D 120, and NW-UCLA datasets.