arXiv reaDer
仮想マーカーからの 3D ヒューマン メッシュ推定
3D Human Mesh Estimation from Virtual Markers
ボリューメトリックな 3D 姿勢推定の成功に触発されて、最近のヒューマン メッシュ推定器の中には、中間表現として 3D スケルトンを推定することを提案するものもあり、そこから、メッシュ トポロジを利用して高密度の 3D メッシュが回帰されます。ただし、スケルトンの抽出では体型情報が失われ、平凡なパフォーマンスにつながります。高度なモーション キャプチャ システムは、高密度の物理マーカーを体表面に配置することで問題を解決します。これにより、非剛体の動きから現実的なメッシュを抽出できます。ただし、マーカーのない野生の画像には適用できません。この作業では、仮想マーカーという名前の中間表現を提示します。これは、物理マーカーの効果を模倣する生成スタイルの大規模なモーション キャプチャ データに基づいて体表面上の 64 のランドマーク キーポイントを学習します。仮想マーカーは野生の画像から正確に検出でき、単純な補間によってリアルな形状の無傷のメッシュを再構築できます。私たちのアプローチは、3 つのデータセットに対する最先端の方法よりも優れています。特に、多様な体型を持つ SURREAL データセットでは、既存の方法を大幅に上回っています。コードは https://github.com/ShirleyMaxx/VirtualMarker で入手できます。
Inspired by the success of volumetric 3D pose estimation, some recent human mesh estimators propose to estimate 3D skeletons as intermediate representations, from which, the dense 3D meshes are regressed by exploiting the mesh topology. However, body shape information is lost in extracting skeletons, leading to mediocre performance. The advanced motion capture systems solve the problem by placing dense physical markers on the body surface, which allows to extract realistic meshes from their non-rigid motions. However, they cannot be applied to wild images without markers. In this work, we present an intermediate representation, named virtual markers, which learns 64 landmark keypoints on the body surface based on the large-scale mocap data in a generative style, mimicking the effects of physical markers. The virtual markers can be accurately detected from wild images and can reconstruct the intact meshes with realistic shapes by simple interpolation. Our approach outperforms the state-of-the-art methods on three datasets. In particular, it surpasses the existing methods by a notable margin on the SURREAL dataset, which has diverse body shapes. Code is available at https://github.com/ShirleyMaxx/VirtualMarker.
updated: Tue Mar 21 2023 10:30:43 GMT+0000 (UTC)
published: Tue Mar 21 2023 10:30:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト