arXiv reaDer
CIMI4D: ヒューマン シーン インタラクション下の大規模なマルチモーダル クライミング モーション データセット
CIMI4D: A Large Multimodal Climbing Motion Dataset under Human-scene Interactions
モーション キャプチャは長年の研究課題です。何十年にもわたって研究されてきましたが、研究の大部分は、歩く、座る、踊るなどの地面に基づく動きに焦点を当てています。クライミングなどの地面から離れた行動は、ほとんど見過ごされています。スポーツや消防の分野における重要なタイプのアクションであるクライミングの動きは、複雑な背中のポーズ、複雑な人間とシーンの相互作用、および困難なグローバル ローカリゼーションのために、キャプチャするのが困難です。研究コミュニティは、特定のデータセットが不足しているため、クライミング アクションを深く理解していません。この制限に対処するために、13 の異なるクライミング ウォールを登っている 12 人の人物から大きなロック クライミング モーション データセットである CIMI4D を収集します。このデータセットは、約 180,000 フレームのポーズ慣性測定、LiDAR ポイント クラウド、RGB ビデオ、高精度の静的ポイント クラウド シーン、および再構築されたシーン メッシュで構成されています。さらに、人間とシーンの相互作用の詳細な調査を容易にするために、タッチ ロック ホールドにフレームごとに注釈を付けます。このデータセットの核となるのは、ブレンドの最適化プロセスです。これは、ドリフトして磁気条件の影響を受けるポーズを修正します。 CIMI4D のメリットを評価するために、人間の姿勢の推定 (シーンの制約あり/なし)、姿勢の予測、および姿勢の生成を含む 4 つのタスクを実行します。実験結果は、CIMI4D が既存の方法に大きな課題を提示し、広範な研究機会を可能にすることを示しています。データセットは http://www.lidarhumanmotion.net/cimi4d/ の研究コミュニティと共有しています。
Motion capture is a long-standing research problem. Although it has been studied for decades, the majority of research focus on ground-based movements such as walking, sitting, dancing, etc. Off-grounded actions such as climbing are largely overlooked. As an important type of action in sports and firefighting field, the climbing movements is challenging to capture because of its complex back poses, intricate human-scene interactions, and difficult global localization. The research community does not have an in-depth understanding of the climbing action due to the lack of specific datasets. To address this limitation, we collect CIMI4D, a large rock ClImbing MotIon dataset from 12 persons climbing 13 different climbing walls. The dataset consists of around 180,000 frames of pose inertial measurements, LiDAR point clouds, RGB videos, high-precision static point cloud scenes, and reconstructed scene meshes. Moreover, we frame-wise annotate touch rock holds to facilitate a detailed exploration of human-scene interaction. The core of this dataset is a blending optimization process, which corrects for the pose as it drifts and is affected by the magnetic conditions. To evaluate the merit of CIMI4D, we perform four tasks which include human pose estimations (with/without scene constraints), pose prediction, and pose generation. The experimental results demonstrate that CIMI4D presents great challenges to existing methods and enables extensive research opportunities. We share the dataset with the research community in http://www.lidarhumanmotion.net/cimi4d/.
updated: Fri Mar 31 2023 10:26:47 GMT+0000 (UTC)
published: Fri Mar 31 2023 10:26:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト