単一および部分的に遮蔽されたビューから人間の高密度3D再構成を取得する問題を検討します。このような場合、視覚的な証拠は通常3D再構成を一意に識別するには不十分であるため、入力データと互換性のあるいくつかのもっともらしい再構成を復元することを目指しています。人間用のSMPLなどの適切な3Dモデルを介して、可能な体の形状とポーズをパラメーター化することにより、あいまいさをより効果的にモデル化できることをお勧めします。生成モデルによって、M個の仮説のそれぞれがもっともらしい人間のポーズの多様体上にあるように制約されているMの最良の損失を使用して、複数の仮説のニューラルネットワークリグレッサを学習することを提案します。私たちの方法は、3D人間の標準ベンチマーク、およびこれらのベンチマークの高度に閉塞されたバージョンでのあいまいなポーズ回復において、代替アプローチよりも優れていることを示しています。
We consider the problem of obtaining dense 3D reconstructions of humans from single and partially occluded views. In such cases, the visual evidence is usually insufficient to identify a 3D reconstruction uniquely, so we aim at recovering several plausible reconstructions compatible with the input data. We suggest that ambiguities can be modelled more effectively by parametrizing the possible body shapes and poses via a suitable 3D model, such as SMPL for humans. We propose to learn a multi-hypothesis neural network regressor using a best-of-M loss, where each of the M hypotheses is constrained to lie on a manifold of plausible human poses by means of a generative model. We show that our method outperforms alternative approaches in ambiguous pose recovery on standard benchmarks for 3D humans, and in heavily occluded versions of these benchmarks.