3D人間ポーズ推定(HPE)は、人間行動分析、拡張現実/仮想現実(AR / VR)アプリケーション、自己運転産業など、多くの分野で重要です。自由に動く単眼カメラからキャプチャされた複数の潜在的に閉塞された人々を含むビデオは、現実のシナリオでは非常に一般的ですが、そのようなシナリオの3D HPEは、既存のデータセットに正確な3Dグラウンドトゥルースラベルを持つそのようなデータがないため、非常に困難です。 。この論文では、2D関節を3Dに変換し、その間に欠落している閉塞関節を回復するために、ゲート畳み込みモジュールを備えた時間回帰ネットワークを提案します。正規化されたポーズをグローバルな軌道に変換するために、シンプルでありながら効果的なローカリゼーションアプローチがさらに実行されます。私たちのアプローチの有効性を検証するために、移動カメラによってキャプチャされた重度の閉塞を持つ複数の人を含む新しい移動カメラマルチヒューマン(MMHuman)データセットも収集します。 3Dグラウンドトゥルースジョイントは、正確なモーションキャプチャ(MoCap)システムによって提供されます。静的カメラベースのHuman3.6Mデータと独自に収集した移動カメラベースのデータに関する実験から、提案された方法が、特にシナリオにおいて、ほとんどの最先端の2Dから3Dへのポーズ推定方法よりも優れていることを示します。重い閉塞を伴う。
3D human pose estimation (HPE) is crucial in many fields, such as human behavior analysis, augmented reality/virtual reality (AR/VR) applications, and self-driving industry. Videos that contain multiple potentially occluded people captured from freely moving monocular cameras are very common in real-world scenarios, while 3D HPE for such scenarios is quite challenging, partially because there is a lack of such data with accurate 3D ground truth labels in existing datasets. In this paper, we propose a temporal regression network with a gated convolution module to transform 2D joints to 3D and recover the missing occluded joints in the meantime. A simple yet effective localization approach is further conducted to transform the normalized pose to the global trajectory. To verify the effectiveness of our approach, we also collect a new moving camera multi-human (MMHuman) dataset that includes multiple people with heavy occlusion captured by moving cameras. The 3D ground truth joints are provided by accurate motion capture (MoCap) system. From the experiments on static-camera based Human3.6M data and our own collected moving-camera based data, we show that our proposed method outperforms most state-of-the-art 2D-to-3D pose estimation methods, especially for the scenarios with heavy occlusions.