arXiv reaDer
身体化されたシーンを意識した人間のポーズ推定
Embodied Scene-aware Human Pose Estimation
シミュレートされたエージェントの固有受容感覚とシーン認識、および外部の第三者の観察に基づいて3Dポーズを推定する、具体化されたシーン認識の人間のポーズ推定を提案します。多段階の最適化、非因果推論、および人間のポーズと人間のシーンの相互作用を推定するための複雑な接触モデリングに頼ることが多い以前の方法とは異なり、私たちの方法は1段階の因果的であり、シミュレートされた環境でグローバルな3D人間のポーズを復元します。 2Dサードパーソン観測はカメラポーズと結合されているため、カメラポーズを解きほぐし、グローバル座標フレームで定義された多段階投影勾配を、具体化されたエージェントの移動キューとして使用することを提案します。物理シミュレーションと事前にスキャンされたシーン(3Dメッシュなど)を活用して、日常の環境(図書館、オフィス、寝室など)でエージェントをシミュレートし、エージェントに環境センサーを装備して、シーンのジオメトリをインテリジェントにナビゲートおよび操作します。また、私たちの方法は2Dキーポイントのみに依存しており、一般的な人間の動きのデータベースから派生した合成データセットでトレーニングできます。評価するために、人気のあるH36MおよびPROXデータセットを使用し、トレーニングにPROXモーションシーケンスを使用することなく、挑戦的なPROXデータセットで初めて96.7%の成功率を達成しました。
We propose embodied scene-aware human pose estimation where we estimate 3D poses based on a simulated agent's proprioception and scene awareness, along with external third-person observations. Unlike prior methods that often resort to multistage optimization, non-causal inference, and complex contact modeling to estimate human pose and human scene interactions, our method is one stage, causal, and recovers global 3D human poses in a simulated environment. Since 2D third-person observations are coupled with the camera pose, we propose to disentangle the camera pose and use a multi-step projection gradient defined in the global coordinate frame as the movement cue for our embodied agent. Leveraging a physics simulation and prescanned scenes (e.g., 3D mesh), we simulate our agent in everyday environments (libraries, offices, bedrooms, etc.) and equip our agent with environmental sensors to intelligently navigate and interact with scene geometries. Our method also relies only on 2D keypoints and can be trained on synthetic datasets derived from popular human motion databases. To evaluate, we use the popular H36M and PROX datasets and, for the first time, achieve a success rate of 96.7% on the challenging PROX dataset without ever using PROX motion sequences for training.
updated: Sat Jun 18 2022 03:50:19 GMT+0000 (UTC)
published: Sat Jun 18 2022 03:50:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト