arXiv reaDer
3D人間の姿勢推定のための深度予測の役割について
On the role of depth predictions for 3D human pose estimation
深い畳み込みニューラルネットワークを2D人間の姿勢推定にうまく適用した後、解決すべき次の論理的な問題は、単眼画像からの3D人間の姿勢推定です。以前のソリューションはある程度の成功を収めていますが、2D入力からの深度情報を十分に活用していません。この深度のあいまいさに対処することを目的として、2Dジョイントの位置を入力として、推定深度値とともに取得し、カメラ座標での3D位置を予測するシステムを構築します。単眼画像から深度マップを推定することによる固有のノイズと不正確さを考慮して、広範な統計分析を実行し、このノイズが与えられた場合でも、予測深度値とカメラ座標の3番目の座標との間に統計的に有意な相関があることを示します。さらに、H3.6M検証セットで達成した最先端の結果が、深さの追加入力によるものであることを説明します。特に、私たちの結果は、低次元の入力を受け入れ、リアルタイムシステムに統合されるニューラルネットワークで生成されます。さらに、私たちのシステムは、既成の2Dポーズ検出器および深度マップ予測器と組み合わせて、実際の3Dポーズ推定を実行できます。
Following the successful application of deep convolutional neural networks to 2d human pose estimation, the next logical problem to solve is 3d human pose estimation from monocular images. While previous solutions have shown some success, they do not fully utilize the depth information from the 2d inputs. With the goal of addressing this depth ambiguity, we build a system that takes 2d joint locations as input along with their estimated depth value and predicts their 3d positions in camera coordinates. Given the inherent noise and inaccuracy from estimating depth maps from monocular images, we perform an extensive statistical analysis showing that given this noise there is still a statistically significant correlation between the predicted depth values and the third coordinate of camera coordinates. We further explain how the state-of-the-art results we achieve on the H3.6M validation set are due to the additional input of depth. Notably, our results are produced on neural network that accepts a low dimensional input and be integrated into a real-time system. Furthermore, our system can be combined with an off-the-shelf 2d pose detector and a depth map predictor to perform 3d pose estimation in the wild.
updated: Wed Mar 03 2021 16:51:38 GMT+0000 (UTC)
published: Wed Mar 03 2021 16:51:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト