arXiv reaDer
直感的な物理学による 3D 人間の姿勢推定
3D Human Pose Estimation via Intuitive Physics
画像から 3D の人間を推定すると、床に傾いたり、浮いたり、床に突き刺さったりする信じがたい体が生成されることがよくあります。このような方法では、通常、ボディがシーンによってサポートされているという事実が無視されます。物理エンジンを使用して物理的な妥当性を強制することはできますが、これらは微分可能ではなく、非現実的なプロキシ ボディに依存しており、既存の最適化および学習フレームワークに統合することは困難です。対照的に、シーンと相互作用する 3D SMPL ボディから推測できる新しい直観的物理学 (IP) 用語を利用します。生体力学に着想を得て、体の圧力ヒートマップ、ヒートマップからの圧力中心 (CoP)、および SMPL 体の重心 (CoM) を推測します。これらを使用して、IPMAN を開発し、もっともらしいフロア コンタクトを促進し、CoP と CoM を重ねることにより、「安定した」構成でカラー画像から 3D ボディを推定します。当社の IP 項は直感的で、実装が簡単で、計算が高速で、微分可能であり、既存の最適化および回帰手法に統合できます。標準データセットと MoYo で IPMAN を評価します。MoYo は、同期されたマルチビュー画像を含む新しいデータセットであり、複雑なポーズを備えたグラウンド トゥルース 3D ボディ、ボディ フロア コンタクト、CoM および圧力です。 IPMAN は、最新技術よりももっともらしい結果を生成し、動的ポーズを損なうことなく、静的ポーズの精度を向上させます。コードとデータは、https://ipman.is.tue.mpg.de で調査できます。
Estimating 3D humans from images often produces implausible bodies that lean, float, or penetrate the floor. Such methods ignore the fact that bodies are typically supported by the scene. A physics engine can be used to enforce physical plausibility, but these are not differentiable, rely on unrealistic proxy bodies, and are difficult to integrate into existing optimization and learning frameworks. In contrast, we exploit novel intuitive-physics (IP) terms that can be inferred from a 3D SMPL body interacting with the scene. Inspired by biomechanics, we infer the pressure heatmap on the body, the Center of Pressure (CoP) from the heatmap, and the SMPL body's Center of Mass (CoM). With these, we develop IPMAN, to estimate a 3D body from a color image in a "stable" configuration by encouraging plausible floor contact and overlapping CoP and CoM. Our IP terms are intuitive, easy to implement, fast to compute, differentiable, and can be integrated into existing optimization and regression methods. We evaluate IPMAN on standard datasets and MoYo, a new dataset with synchronized multi-view images, ground-truth 3D bodies with complex poses, body-floor contact, CoM and pressure. IPMAN produces more plausible results than the state of the art, improving accuracy for static poses, while not hurting dynamic ones. Code and data are available for research at https://ipman.is.tue.mpg.de.
updated: Fri Mar 31 2023 17:59:09 GMT+0000 (UTC)
published: Fri Mar 31 2023 17:59:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト