単眼画像からの優れた人間のポーズと形状の再構築は、オクルージョンと形状の変化によって引き起こされるあいまいさを取り除くことに依存しています。最近の研究は、3Dグラウンドトゥルースによって監視されたディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰ベースの方法で成功しています。ただし、3Dグラウンドトゥルースは豊富ではなく、効率的に取得することもできません。この論文では、重要な監督として身体部分のセグメンテーションを紹介します。パーツのセグメンテーションは、各身体パーツの形状を示すだけでなく、パーツ間のオクルージョンを推測するのにも役立ちます。パーツセグメンテーションによる再構成を改善するために、ニューラルネットワークまたは最適化ループでパーツベースのモデルをパーツセグメンテーションによって監視できるようにするパーツレベルの微分可能なレンダラーを提案します。また、スケルトンと詳細な形状の間の中間表現としてレンダリングパイプラインに関与する一般的なパラメトリックモデルを紹介します。これは、より良い解釈のためのプリミティブジオメトリで構成されています。提案されたアプローチは、パラメータ回帰、ボディモデルの最適化、および詳細なモデル登録をすべて組み合わせたものです。実験結果は、提案された方法がポーズと形状のバランスの取れた評価を達成し、Human3.6M、UP-3D、およびLSPデータセットの最先端のアプローチよりも優れていることを示しています。
Superior human pose and shape reconstruction from monocular images depends on removing the ambiguities caused by occlusions and shape variance. Recent works succeed in regression-based methods which estimate parametric models directly through a deep neural network supervised by 3D ground truth. However, 3D ground truth is neither in abundance nor can efficiently be obtained. In this paper, we introduce body part segmentation as critical supervision. Part segmentation not only indicates the shape of each body part but helps to infer the occlusions among parts as well. To improve the reconstruction with part segmentation, we propose a part-level differentiable renderer that enables part-based models to be supervised by part segmentation in neural networks or optimization loops. We also introduce a general parametric model engaged in the rendering pipeline as an intermediate representation between skeletons and detailed shapes, which consists of primitive geometries for better interpretability. The proposed approach combines parameter regression, body model optimization, and detailed model registration altogether. Experimental results demonstrate that the proposed method achieves balanced evaluation on pose and shape, and outperforms the state-of-the-art approaches on Human3.6M, UP-3D and LSP datasets.