この論文は、RGB画像からの3D人体形状と姿勢推定の問題に取り組んでいます。複数のもっともらしい3Dボディが入力に存在する視覚的証拠と一致する可能性があるため、これは多くの場合、不適切な問題です。特に、被写体が遮られている場合はそうです。したがって、単一の3D再構成ではなく、入力画像を条件として3Dの体型とポーズの分布を推定することが望ましい。深層ニューラルネットワークをトレーニングして、人体の運動学的ツリー構造を活用する相対3D関節回転行列(つまり、体のポーズ)上の階層行列-フィッシャー分布、およびSMPL体型パラメーター上のガウス分布を推定します。予測された形状とポーズの分布が入力画像の視覚的証拠と一致することをさらに保証するために、微分可能な除去サンプラーを実装して、グラウンドトゥルース2D関節座標と、画像平面に投影された予測分布からのサンプルとの間に再投影損失を課します。私たちの方法は、SSP-3Dおよび3DPWデータセットの3D形状およびポーズメトリックの点で最先端と競合すると同時に、3D体型およびポーズにわたる構造化された確率分布を生成することを示します。予測の不確実性を有意義に定量化し、複数のもっともらしい3D再構成をサンプリングして、特定の入力画像を説明できます。コードはhttps://github.com/akashsengupta1997/HierarchicalProbabilistic3DHumanで入手できます。
This paper addresses the problem of 3D human body shape and pose estimation from an RGB image. This is often an ill-posed problem, since multiple plausible 3D bodies may match the visual evidence present in the input - particularly when the subject is occluded. Thus, it is desirable to estimate a distribution over 3D body shape and pose conditioned on the input image instead of a single 3D reconstruction. We train a deep neural network to estimate a hierarchical matrix-Fisher distribution over relative 3D joint rotation matrices (i.e. body pose), which exploits the human body's kinematic tree structure, as well as a Gaussian distribution over SMPL body shape parameters. To further ensure that the predicted shape and pose distributions match the visual evidence in the input image, we implement a differentiable rejection sampler to impose a reprojection loss between ground-truth 2D joint coordinates and samples from the predicted distributions, projected onto the image plane. We show that our method is competitive with the state-of-the-art in terms of 3D shape and pose metrics on the SSP-3D and 3DPW datasets, while also yielding a structured probability distribution over 3D body shape and pose, with which we can meaningfully quantify prediction uncertainty and sample multiple plausible 3D reconstructions to explain a given input image. Code is available at https://github.com/akashsengupta1997/HierarchicalProbabilistic3DHuman .