グラフ畳み込みアーキテクチャに基づく人間の姿勢推定方法では、人間の骨格は通常、ノードが体の関節、エッジが隣接する関節間の接続である無向グラフとしてモデル化されます。ただし、これらの方法のほとんどは、一次近傍を使用して骨格の身体関節間の関係を学習することに重点を置く傾向があり、高次近傍を無視するため、離れた関節間の関係を活用する能力が制限されます。この論文では、重みおよび隣接変調と組み合わせた行列分割を使用した 2D から 3D への人間の姿勢推定のための高次規則分割グラフ ネットワーク (RS-Net) を紹介します。中心となるアイデアは、マルチホップ近傍を使用して身体関節間の長距離依存関係をキャプチャし、さまざまな身体関節のさまざまな変調ベクトルと、スケルトンに関連付けられた隣接行列に追加された変調行列を学習することです。この学習可能な変調行列は、体の関節間の追加の接続を学習するためにグラフのエッジを追加することで、グラフ構造を調整するのに役立ちます。提案された RS-Net モデルは、すべての隣接する身体関節に共有重み行列を使用する代わりに、関節間のさまざまな関係を捉えるために、関節に関連付けられた特徴ベクトルを集約する前に重み非共有を適用します。 2 つのベンチマーク データセットに対して実行された実験とアブレーション研究は、私たちのモデルの有効性を実証し、3D 人間の姿勢推定のための最近の最先端の方法よりも優れたパフォーマンスを達成しました。
In human pose estimation methods based on graph convolutional architectures, the human skeleton is usually modeled as an undirected graph whose nodes are body joints and edges are connections between neighboring joints. However, most of these methods tend to focus on learning relationships between body joints of the skeleton using first-order neighbors, ignoring higher-order neighbors and hence limiting their ability to exploit relationships between distant joints. In this paper, we introduce a higher-order regular splitting graph network (RS-Net) for 2D-to-3D human pose estimation using matrix splitting in conjunction with weight and adjacency modulation. The core idea is to capture long-range dependencies between body joints using multi-hop neighborhoods and also to learn different modulation vectors for different body joints as well as a modulation matrix added to the adjacency matrix associated to the skeleton. This learnable modulation matrix helps adjust the graph structure by adding extra graph edges in an effort to learn additional connections between body joints. Instead of using a shared weight matrix for all neighboring body joints, the proposed RS-Net model applies weight unsharing before aggregating the feature vectors associated to the joints in order to capture the different relations between them. Experiments and ablations studies performed on two benchmark datasets demonstrate the effectiveness of our model, achieving superior performance over recent state-of-the-art methods for 3D human pose estimation.