人間のポーズと形状の推定のタスクにおける重要な課題は、自己閉塞、オブジェクトと人間の閉塞、および個人間の閉塞を含む閉塞です。多様で正確なポーズと形状のトレーニングデータの欠如は、特に野生のオクルージョンのあるシーンでは、大きなボトルネックになります。本論文では、対人閉塞の場合の人間の姿勢と形状の推定に焦点を当て、同時に物体-人間の閉塞と自己閉塞も処理します。オクルージョンを意識したシルエットと2Dキーポイントデータを合成し、SMPLのポーズと形状のパラメータに直接回帰するフレームワークを提案します。ニューラル3Dメッシュレンダラーを利用して、その場でシルエットを監視できるようにします。これにより、形状推定が大幅に改善されます。さらに、パノラマの視点でのキーポイントとシルエット主導のトレーニングデータは、既存のデータセットの視点の多様性の欠如を補うために合成されます。実験結果は、ポーズの精度の点で3DPWデータセットの最先端にあり、形状の精度の点でランク1の方法を明らかに上回っていることを示しています。 SSP-3Dでも形状予測精度の点で最高の性能を発揮します。
A key challenge in the task of human pose and shape estimation is occlusion, including self-occlusions, object-human occlusions, and inter-person occlusions. The lack of diverse and accurate pose and shape training data becomes a major bottleneck, especially for scenes with occlusions in the wild. In this paper, we focus on the estimation of human pose and shape in the case of inter-person occlusions, while also handling object-human occlusions and self-occlusion. We propose a framework that synthesizes occlusion-aware silhouette and 2D keypoints data and directly regress to the SMPL pose and shape parameters. A neural 3D mesh renderer is exploited to enable silhouette supervision on the fly, which contributes to great improvements in shape estimation. In addition, keypoints-and-silhouette-driven training data in panoramic viewpoints are synthesized to compensate for the lack of viewpoint diversity in any existing dataset. Experimental results show that we are among state-of-the-art on the 3DPW dataset in terms of pose accuracy and evidently outperform the rank-1 method in terms of shape accuracy. Top performance is also achieved on SSP-3D in terms of shape prediction accuracy.