複数の 3D ソリューションで被写体の 2D 画像を説明できるため、単眼の 3D 人間の姿勢と形状の推定は不適切な設定の問題です。最近のアプローチでは、画像上で条件付けされた、もっともらしい 3D 姿勢および形状パラメータにわたる確率分布を予測します。これらのアプローチは、次の 3 つの主要な特性の間でトレードオフを示すことを示します。(i) 精度 - 予測された分布に基づくグラウンドトゥルース 3D ソリューションの可能性、(ii) サンプル入力の一貫性 - 3D サンプルがどの程度データから抽出されるか予測された分布は目に見える 2D 画像の証拠と一致し、(iii) サンプルの多様性 - 予測された分布によってモデル化されたもっともらしい 3D ソリューションの範囲。私たちの手法である HuManiFlow は、正確で一貫性のある多様な分布を同時に予測します。人間の運動学ツリーを使用して、自己回帰的な方法で全身のポーズを祖先条件付きの体の部位ごとのポーズ分布に因数分解します。身体部位ごとの分布は、身体部位ごとのポーズのリー群である SO(3) の多様体構造を尊重する正規化フローを使用して実装されます。我々は、不適切な設定ではあるが遍在する 3D 点推定損失によりサンプルの多様性が減少し、確率的トレーニング損失のみが採用されることを示します。コードは https://github.com/akashsengupta1997/HuManiFlow で入手できます。
Monocular 3D human pose and shape estimation is an ill-posed problem since multiple 3D solutions can explain a 2D image of a subject. Recent approaches predict a probability distribution over plausible 3D pose and shape parameters conditioned on the image. We show that these approaches exhibit a trade-off between three key properties: (i) accuracy - the likelihood of the ground-truth 3D solution under the predicted distribution, (ii) sample-input consistency - the extent to which 3D samples from the predicted distribution match the visible 2D image evidence, and (iii) sample diversity - the range of plausible 3D solutions modelled by the predicted distribution. Our method, HuManiFlow, predicts simultaneously accurate, consistent and diverse distributions. We use the human kinematic tree to factorise full body pose into ancestor-conditioned per-body-part pose distributions in an autoregressive manner. Per-body-part distributions are implemented using normalising flows that respect the manifold structure of SO(3), the Lie group of per-body-part poses. We show that ill-posed, but ubiquitous, 3D point estimate losses reduce sample diversity, and employ only probabilistic training losses. Code is available at: https://github.com/akashsengupta1997/HuManiFlow.