世界中で絶え間なく人気が高まっているフィットネス活動分析は、コンピューター ビジョンの新たな研究トピックになっています。最近、さまざまな新しいタスクやアルゴリズムが提案されていますが、高品質のデータ、きめの細かいラベル、多様な環境に関連するデータ リソースに対する需要が高まっています。この論文では、60 カテゴリの 180K シーケンスを含む言語命令を含む大規模な 3D フィットネス アクティビティ データセットである FLAG3D を紹介します。 FLAG3D は次の 3 つの側面を備えています。1) 複雑なアクティビティと大きな動きを処理するために、高度な MoCap システムからキャプチャされた正確で高密度の 3D 人間のポーズ、2) 特定のアクティビティを実行する方法を説明するための詳細で専門的な言語による指示、3) 多目的なビデオ リソースハイテクなモーション キャプチャ システム、レンダリング ソフトウェア、および自然環境での費用対効果の高いスマートフォンから。広範な実験と詳細な分析により、FLAG3D は、クロスドメインの人間の行動の認識、動的な人間のメッシュの回復、言語に基づく人間の行動の生成など、さまざまな課題に対して大きな研究価値をもたらすことが示されています。データセットとソース コードは、https://andytang15.github.io/FLAG3D で公開されています。
With the continuously thriving popularity around the world, fitness activity analytic has become an emerging research topic in computer vision. While a variety of new tasks and algorithms have been proposed recently, there are growing hunger for data resources involved in high-quality data, fine-grained labels, and diverse environments. In this paper, we present FLAG3D, a large-scale 3D fitness activity dataset with language instruction containing 180K sequences of 60 categories. FLAG3D features the following three aspects: 1) accurate and dense 3D human pose captured from advanced MoCap system to handle the complex activity and large movement, 2) detailed and professional language instruction to describe how to perform a specific activity, 3) versatile video resources from a high-tech MoCap system, rendering software, and cost-effective smartphones in natural environments. Extensive experiments and in-depth analysis show that FLAG3D contributes great research value for various challenges, such as cross-domain human action recognition, dynamic human mesh recovery, and language-guided human action generation. Our dataset and source code are publicly available at https://andytang15.github.io/FLAG3D.