人間のポーズと形状の推定のタスクにおける重要な課題は、自己閉塞、オブジェクトと人間の閉塞、および個人間の閉塞を含む閉塞です。多様で正確なポーズと形状のトレーニングデータの欠如は、特に野生の閉塞のあるシーンでは、大きなボトルネックになります。本論文では、対人閉塞の場合の人間の姿勢と形状の推定に焦点を当て、同時に物体-人間の閉塞と自己閉塞も処理します。オクルージョンを意識したシルエットと2Dキーポイントデータを合成し、SMPLのポーズと形状のパラメータに直接回帰する新しいフレームワークを提案します。ニューラル3Dメッシュレンダラーを利用して、その場でシルエットを監視できるようにします。これにより、形状推定が大幅に改善されます。さらに、パノラマの視点でのキーポイントとシルエットに基づくトレーニングデータは、既存のデータセットでの視点の多様性の欠如を補うために合成されます。実験結果は、ポーズ推定の精度の点で、3DPWおよび3DPW-Crowdデータセットの最先端にいることを示しています。提案手法は、形状推定の点でランク1手法を明らかに上回っています。 SSP-3Dでも形状予測精度の点で最高の性能を発揮します。
A key challenge in the task of human pose and shape estimation is occlusion, including self-occlusions, object-human occlusions, and inter-person occlusions. The lack of diverse and accurate pose and shape training data becomes a major bottleneck, especially for scenes with occlusions in the wild. In this paper, we focus on the estimation of human pose and shape in the case of inter-person occlusions, while also handling object-human occlusions and self-occlusion. We propose a novel framework that synthesizes occlusion-aware silhouette and 2D keypoints data and directly regress to the SMPL pose and shape parameters. A neural 3D mesh renderer is exploited to enable silhouette supervision on the fly, which contributes to great improvements in shape estimation. In addition, keypoints-and-silhouette-driven training data in panoramic viewpoints are synthesized to compensate for the lack of viewpoint diversity in any existing dataset. Experimental results show that we are among the state-of-the-art on the 3DPW and 3DPW-Crowd datasets in terms of pose estimation accuracy. The proposed method evidently outperforms the rank-1 method in terms of shape estimation. Top performance is also achieved on SSP-3D in terms of shape prediction accuracy.