単一のLiDARと4つのIMUのみを使用して、大規模なシナリオで正確な連続したローカルポーズとグローバル軌道を使用して挑戦的な3D人間の動きをキャプチャするためのマルチセンサーフュージョン法を提案します。具体的には、LiDARによってキャプチャされたグローバルジオメトリ情報とIMUによってキャプチャされたローカル動的モーションを十分に活用するために、点群が粗い体型を提供し、IMU測定が最適化する2段階のポーズ推定器を粗い方法から細かい方法で設計します。ローカルアクション。さらに、ビューに依存する部分点群によって引き起こされる並進偏差を考慮して、ポーズ誘導並進補正器を提案します。キャプチャされたポイントと実際のルート位置の間のオフセットを予測し、連続する動きと軌道をより正確かつ自然にします。広範な定量的および定性的実験は、大規模なシナリオでモーションキャプチャを強制するためのアプローチの能力を示しています。これは、他の方法よりも明らかに優れています。将来の研究を刺激するために、コードとキャプチャされたデータセットをリリースします。
We propose a multi-sensor fusion method for capturing challenging 3D human motions with accurate consecutive local poses and global trajectories in large-scale scenarios, only using a single LiDAR and 4 IMUs. Specifically, to fully utilize the global geometry information captured by LiDAR and local dynamic motions captured by IMUs, we design a two-stage pose estimator in a coarse-to-fine manner, where point clouds provide the coarse body shape and IMU measurements optimize the local actions. Furthermore, considering the translation deviation caused by the view-dependent partial point cloud, we propose a pose-guided translation corrector. It predicts the offset between captured points and the real root locations, which makes the consecutive movements and trajectories more precise and natural. Extensive quantitative and qualitative experiments demonstrate the capability of our approach for compelling motion capture in large-scale scenarios, which outperforms other methods by an obvious margin. We will release our code and captured dataset to stimulate future research.