単一の LiDAR と 4 つの IMU のみを使用して、大規模なシナリオで正確な連続ローカル ポーズとグローバル トラジェクトリを使用して挑戦的な 3D 人間の動きをキャプチャするためのマルチ センサー フュージョン手法を提案します。具体的には、LiDAR によってキャプチャされたグローバル ジオメトリ情報と IMU によってキャプチャされたローカルの動的モーションを十分に活用するために、点群が粗いボディ形状を提供し、IMU 測定がローカルアクション。さらに、ビューに依存する部分点群によって引き起こされる並進偏差を考慮して、ポーズガイド付き並進補正器を提案します。キャプチャされたポイントと実際のルート位置の間のオフセットを予測し、連続した動きと軌跡をより正確かつ自然にします。さらに、長距離シナリオでの多様な人間の行動を含む LiDAR-IMU マルチモーダル モーション キャプチャ データセット LIPD を収集します。 LIPD およびその他のオープン データセットに関する広範な定量的および定性的な実験はすべて、大規模なシナリオで説得力のあるモーション キャプチャを行うための当社のアプローチの能力を示しており、他の方法よりも明らかに優れています。将来の研究を刺激するために、コードとキャプチャしたデータセットをリリースします。
We propose a multi-sensor fusion method for capturing challenging 3D human motions with accurate consecutive local poses and global trajectories in large-scale scenarios, only using single LiDAR and 4 IMUs, which are set up conveniently and worn lightly. Specifically, to fully utilize the global geometry information captured by LiDAR and local dynamic motions captured by IMUs, we design a two-stage pose estimator in a coarse-to-fine manner, where point clouds provide the coarse body shape and IMU measurements optimize the local actions. Furthermore, considering the translation deviation caused by the view-dependent partial point cloud, we propose a pose-guided translation corrector. It predicts the offset between captured points and the real root locations, which makes the consecutive movements and trajectories more precise and natural. Moreover, we collect a LiDAR-IMU multi-modal mocap dataset, LIPD, with diverse human actions in long-range scenarios. Extensive quantitative and qualitative experiments on LIPD and other open datasets all demonstrate the capability of our approach for compelling motion capture in large-scale scenarios, which outperforms other methods by an obvious margin. We will release our code and captured dataset to stimulate future research.