arXiv reaDer
シーンを意識した人間の姿勢推定の具現化
Embodied Scene-aware Human Pose Estimation
外部の三人称観測とともに、シミュレートされたエージェントの固有感覚とシーン認識に基づいて 3D ポーズを推定する、具現化されたシーン認識人間の姿勢推定を提案します。人間のポーズと人間のシーンの相互作用を推定するために多段階最適化、非因果推論、複雑な接触モデリングに頼ることが多い従来の方法とは異なり、私たちの方法は 1 段階で因果関係があり、シミュレートされた環境でグローバルな 3D 人間のポーズを回復します。 2D の三人称観測はカメラの姿勢と結び付けられているため、カメラの姿勢を解きほぐし、グローバル座標フレームで定義された多段階の射影勾配を具体化されたエージェントの動きの手がかりとして使用することを提案します。物理シミュレーションと事前にスキャンされたシーン (3D メッシュなど) を活用して、日常の環境 (図書館、オフィス、寝室など) でエージェントをシミュレートし、エージェントに環境センサーを装備して、シーンのジオメトリをインテリジェントにナビゲートして対話します。私たちの方法も 2D キーポイントのみに依存しており、一般的な人間の動きのデータベースから派生した合成データセットでトレーニングできます。評価するために、一般的な H36M および PROX データセットを使用し、トレーニングに PROX モーション シーケンスを使用することなく、困難な PROX データセットで高品質の姿勢推定を実現します。コードとビデオは、プロジェクト ページで入手できます。
We propose embodied scene-aware human pose estimation where we estimate 3D poses based on a simulated agent's proprioception and scene awareness, along with external third-person observations. Unlike prior methods that often resort to multistage optimization, non-causal inference, and complex contact modeling to estimate human pose and human scene interactions, our method is one-stage, causal, and recovers global 3D human poses in a simulated environment. Since 2D third-person observations are coupled with the camera pose, we propose to disentangle the camera pose and use a multi-step projection gradient defined in the global coordinate frame as the movement cue for our embodied agent. Leveraging a physics simulation and prescanned scenes (e.g., 3D mesh), we simulate our agent in everyday environments (library, office, bedroom, etc.) and equip our agent with environmental sensors to intelligently navigate and interact with the geometries of the scene. Our method also relies only on 2D keypoints and can be trained on synthetic datasets derived from popular human motion databases. To evaluate, we use the popular H36M and PROX datasets and achieve high quality pose estimation on the challenging PROX dataset without ever using PROX motion sequences for training. Code and videos are available on the project page.
updated: Thu Oct 13 2022 20:31:36 GMT+0000 (UTC)
published: Sat Jun 18 2022 03:50:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト