ほとんどのリアルタイムの人間の姿勢推定アプローチは、関節の位置の検出に基づいています。検出された関節位置を使用して、手足のヨーとピッチを計算できます。ただし、スポーツ分析やコンピュータアニメーションなどのアプリケーションにとって重要な手足に沿ったロールは、この回転軸が観察されないままであるため、計算できません。したがって、この論文では、単一フレームのRGB画像のみを使用して、骨格関節の完全な位置と回転を推定するための新しいアプローチである方向キーポイントを紹介します。モーションキャプチャシステムが一連のポイントマーカーを使用して完全な骨の回転を推定する方法に触発されたこの方法では、仮想マーカーを使用して十分な情報を生成し、簡単な後処理で回転を正確に推測します。回転予測は、関節角度について報告された最良の平均誤差を48%改善し、15回の骨回転にわたって93%の精度を達成します。この方法はまた、主要なデータセットでMPJPEによって測定された関節位置の現在の最先端の結果を14%改善し、実際のデータセットによく一般化します。
Most realtime human pose estimation approaches are based on detecting joint positions. Using the detected joint positions, the yaw and pitch of the limbs can be computed. However, the roll along the limb, which is critical for application such as sports analysis and computer animation, cannot be computed as this axis of rotation remains unobserved. In this paper we therefore introduce orientation keypoints, a novel approach for estimating the full position and rotation of skeletal joints, using only single-frame RGB images. Inspired by how motion-capture systems use a set of point markers to estimate full bone rotations, our method uses virtual markers to generate sufficient information to accurately infer rotations with simple post processing. The rotation predictions improve upon the best reported mean error for joint angles by 48% and achieves 93% accuracy across 15 bone rotations. The method also improves the current state-of-the-art results for joint positions by 14% as measured by MPJPE on the principle dataset, and generalizes well to in-the-wild datasets.