arXiv reaDer
Motion-X: 大規模な 3D 表現力のある全身人間の動作データセット
Motion-X: A Large-scale 3D Expressive Whole-body Human Motion Dataset
本稿では、大規模な 3D 表現力のある全身動作データセットである Motion-X を紹介します。既存のモーション データセットには主に身体のみのポーズが含まれており、顔の表情、手のジェスチャー、および詳細なポーズの説明が欠如しています。さらに、これらは主に限られた実験室のシーンから収集され、テキストによる説明が手動でラベル付けされているため、スケーラビリティが大幅に制限されます。これらの制限を克服するために、私たちは全身モーションとテキスト注釈パイプラインを開発しました。これは、シングルビューまたはマルチビュービデオのモーションに自動的に注釈を付け、各ビデオの包括的な意味ラベルと、各ビデオのきめ細かい全身ポーズの説明を提供します。フレーム。このパイプラインは高精度でコスト効率が高く、さらなる研究のために拡張可能です。これに基づいて、大規模なシーンからの 96K のモーション シーケンスをカバーする 1,370 万個の正確な 3D 全身ポーズ アノテーション (つまり SMPL-X) で構成される Motion-X を構築します。さらに、Motion-X は、1,370 万のフレームレベルの全身ポーズ記述と 96K のシーケンスレベルのセマンティックラベルを提供します。包括的な実験により、アノテーション パイプラインの精度と、表現力豊かで多様で自然なモーションの生成、および 3D 全身ヒューマン メッシュの回復を強化する Motion-X の大きな利点が実証されています。
In this paper, we present Motion-X, a large-scale 3D expressive whole-body motion dataset. Existing motion datasets predominantly contain body-only poses, lacking facial expressions, hand gestures, and fine-grained pose descriptions. Moreover, they are primarily collected from limited laboratory scenes with textual descriptions manually labeled, which greatly limits their scalability. To overcome these limitations, we develop a whole-body motion and text annotation pipeline, which can automatically annotate motion from either single- or multi-view videos and provide comprehensive semantic labels for each video and fine-grained whole-body pose descriptions for each frame. This pipeline is of high precision, cost-effective, and scalable for further research. Based on it, we construct Motion-X, which comprises 13.7M precise 3D whole-body pose annotations (i.e., SMPL-X) covering 96K motion sequences from massive scenes. Besides, Motion-X provides 13.7M frame-level whole-body pose descriptions and 96K sequence-level semantic labels. Comprehensive experiments demonstrate the accuracy of the annotation pipeline and the significant benefit of Motion-X in enhancing expressive, diverse, and natural motion generation, as well as 3D whole-body human mesh recovery.
updated: Mon Jul 03 2023 07:57:29 GMT+0000 (UTC)
published: Mon Jul 03 2023 07:57:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト