arXiv reaDer
自己中心的なポーズ推定のためのダイナミクス規制された運動学的方針
Dynamics-Regulated Kinematic Policy for Egocentric Pose Estimation
運動学モデリング、ダイナミクスモデリング、およびシーンオブジェクト情報を緊密に統合するオブジェクト認識3D自己中心性ポーズ推定の方法を提案します。 2つのコンポーネントが別々に使用される以前の運動学またはダイナミクスベースのアプローチとは異なり、ダイナミクスで調整されたトレーニングを介して2つのアプローチを相乗効果を発揮します。各タイムステップで、キネマティックモデルを使用して、ビデオ証拠とシミュレーション状態を使用してターゲットポーズを提供します。次に、事前に学習されたダイナミクスモデルが、物理シミュレータで運動学的ポーズを模倣しようとします。キネマティックモデルによって指示されたポーズをダイナミクスモデルによって生成されたポーズと比較することにより、それらのミスアライメントを使用してキネマティックモデルをさらに改善できます。シーン内のオブジェクト(椅子、ボックスなど)の6DoFポーズを考慮に入れることで、単一のウェアラブルカメラを使用して物理的に妥当な3D人間とオブジェクトの相互作用を推定する機能を初めて実証します。制御された実験室設定と実際のシナリオの両方で、自己中心的なポーズ推定方法を評価します。
We propose a method for object-aware 3D egocentric pose estimation that tightly integrates kinematics modeling, dynamics modeling, and scene object information. Unlike prior kinematics or dynamics-based approaches where the two components are used disjointly, we synergize the two approaches via dynamics-regulated training. At each timestep, a kinematic model is used to provide a target pose using video evidence and simulation state. Then, a prelearned dynamics model attempts to mimic the kinematic pose in a physics simulator. By comparing the pose instructed by the kinematic model against the pose generated by the dynamics model, we can use their misalignment to further improve the kinematic model. By factoring in the 6DoF pose of objects (e.g., chairs, boxes) in the scene, we demonstrate for the first time, the ability to estimate physically-plausible 3D human-object interactions using a single wearable camera. We evaluate our egocentric pose estimation method in both controlled laboratory settings and real-world scenarios.
updated: Wed Nov 24 2021 20:46:04 GMT+0000 (UTC)
published: Thu Jun 10 2021 17:59:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト