既存の運動学的骨格ベースの 3D 人間の姿勢推定方法は、関節の位置を予測するだけです。これはボーンの回転のヨーとピッチを計算するには十分ですが、ボーンの軸の周りの回転はこれらの方法では解決されないままになります。この論文では、関節の位置や骨の方向を含む完全な人間の姿勢を予測するために、PoseGraphNet++ という名前の新しい 2D から 3D へのリフティング グラフ コンボリューション ネットワークを提案します。ノードとエッジの畳み込みを使用して、ジョイントとボーンの特徴を利用します。私たちのモデルは複数のベンチマーク データセットで評価されており、そのパフォーマンスは位置と回転の両方のメトリクスの点で最先端のものと同等かそれ以上です。広範なアブレーション研究を通じて、関節と骨の間の相互関係を利用することで PoseGraphNet++ が恩恵を受けることを示しました。
Existing kinematic skeleton-based 3D human pose estimation methods only predict joint positions. Although this is sufficient to compute the yaw and pitch of the bone rotations, the roll around the axis of the bones remains unresolved by these methods. In this paper, we propose a novel 2D-to-3D lifting Graph Convolution Network named PoseGraphNet++ to predict the complete human pose including the joint positions and the bone orientations. We employ node and edge convolutions to utilize the joint and bone features. Our model is evaluated on multiple benchmark datasets, and its performance is either on par with or better than the state-of-the-art in terms of both position and rotation metrics. Through extensive ablation studies, we show that PoseGraphNet++ benefits from exploiting the mutual relationship between the joints and the bones.