arXiv reaDer
野生の複数の制約のない画像からの確率的3D人間の形状とポーズの推定
Probabilistic 3D Human Shape and Pose Estimation from Multiple Unconstrained Images in the Wild
この論文は、RGB画像からの3D人体形状と姿勢推定の問題に取り組んでいます。この分野での最近の進歩は、入力としての単一画像、ビデオ、またはマルチビュー画像に焦点を合わせています。対照的に、我々は新しいタスクを提案します:被写体のポーズ、カメラの視点、またはグループ内の画像間の背景条件に制約のない、人間の被写体の複数の画像のグループからの形状とポーズの推定。このタスクに対する私たちのソリューションは、グループ内の入力画像を条件として、SMPLの体型とポーズパラメータの分布を予測します。各画像から予測された体型分布を確率的に組み合わせて、最終的なマルチ画像形状予測を取得します。マルチ画像入力グループに存在する追加の体型情報が、SSP-3Dデータセットおよびテープ測定された人間のプライベートデータセットの単一画像入力と比較して、3D人間形状推定メトリックを改善することを示します。さらに、3Dボディ全体の分布を予測することで、ポーズ予測の不確実性を定量化できます。これは、かなりのオクルージョンを伴う困難な入力画像に直面した場合に役立ちます。私たちの方法は、3DPWデータセットで意味のあるポーズの不確実性を示し、ポーズ推定メトリックの点で最先端と競合しています。
This paper addresses the problem of 3D human body shape and pose estimation from RGB images. Recent progress in this field has focused on single images, video or multi-view images as inputs. In contrast, we propose a new task: shape and pose estimation from a group of multiple images of a human subject, without constraints on subject pose, camera viewpoint or background conditions between images in the group. Our solution to this task predicts distributions over SMPL body shape and pose parameters conditioned on the input images in the group. We probabilistically combine predicted body shape distributions from each image to obtain a final multi-image shape prediction. We show that the additional body shape information present in multi-image input groups improves 3D human shape estimation metrics compared to single-image inputs on the SSP-3D dataset and a private dataset of tape-measured humans. In addition, predicting distributions over 3D bodies allows us to quantify pose prediction uncertainty, which is useful when faced with challenging input images with significant occlusion. Our method demonstrates meaningful pose uncertainty on the 3DPW dataset and is competitive with the state-of-the-art in terms of pose estimation metrics.
updated: Fri Mar 19 2021 18:32:16 GMT+0000 (UTC)
published: Fri Mar 19 2021 18:32:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト