arXiv reaDer
単眼ビデオからの仮想骨を使用したモーションプロジェクション整合性ベースの3D人間ポーズ推定
Motion Projection Consistency Based 3D Human Pose Estimation with Virtual Bones from Monocular Videos
リアルタイムの3D人間の姿勢の推定は、人間とコンピューターの相互作用にとって非常に重要です。単眼ビデオからのみ3D人間のポーズを推定することは安価で実用的です。しかし、最近の骨スプライシングベースの3D人間姿勢推定法は、累積誤差の問題を引き起こします。この論文では、このような課題を解決するために仮想骨の概念を提案します。仮想ボーンは、隣接していない関節間の架空のボーンです。それらは実際には存在しませんが、3D人間の関節の推定に新しいループ制約をもたらします。この論文で提案されたネットワークは、実際の骨と仮想の骨を同時に予測します。実際の骨の最終的な長さは、予測された実際の骨と仮想の骨によって構築されたループによって制約され、学習されます。さらに、連続するフレームのジョイントのモーション制約が考慮されます。ネットワークによって予測された2D投影位置変位と、カメラによってキャプチャされた実際の2D変位との間の一貫性は、3D人間のポーズを学習するための新しい投影一貫性損失として提案されます。 Human3.6Mデータセットでの実験は、提案された方法の優れたパフォーマンスを示しています。アブレーション研究は、提案されたフレーム間投影一貫性制約とフレーム内ループ制約の有効性を示しています。
Real-time 3D human pose estimation is crucial for human-computer interaction. It is cheap and practical to estimate 3D human pose only from monocular video. However, recent bone splicing based 3D human pose estimation method brings about the problem of cumulative error. In this paper, the concept of virtual bones is proposed to solve such a challenge. The virtual bones are imaginary bones between non-adjacent joints. They do not exist in reality, but they bring new loop constraints for the estimation of 3D human joints. The proposed network in this paper predicts real bones and virtual bones, simultaneously. The final length of real bones is constrained and learned by the loop constructed by the predicted real bones and virtual bones. Besides, the motion constraints of joints in consecutive frames are considered. The consistency between the 2D projected position displacement predicted by the network and the captured real 2D displacement by the camera is proposed as a new projection consistency loss for the learning of 3D human pose. The experiments on the Human3.6M dataset demonstrate the good performance of the proposed method. Ablation studies demonstrate the effectiveness of the proposed inter-frame projection consistency constraints and intra-frame loop constraints.
updated: Mon Jun 28 2021 13:37:57 GMT+0000 (UTC)
published: Mon Jun 28 2021 13:37:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト