arXiv reaDer
EV-Action: Electromyography-Vision Multi-Modal Action Dataset
 マルチモーダルな人間行動分析は、重要かつ魅力的な研究トピックです。ただし、既存のデータセットの大部分は、視覚的なモダリティ(RGB、深度、スケルトン)のみを提供します。これを構成するために、この作業では、RGB、深度、筋電図(EMG)、および2つのスケルトンモダリティで構成される新しい大規模EV-Actionデータセットを導入します。従来のデータセットと比較して、EV-Actionデータセットには2つの大きな改善点があります:(1)モーションキャプチャシステムを展開して、高品質のスケルトンモダリティを取得します。これにより、スケルトン、軌跡、より高い精度の加速度、サンプリング頻度など、より包括的なモーション情報が提供されますより多くのスケルトンマーカー。 (2)通常、バイオメカニクス分野で効果的な指標として使用されるEMGモダリティを導入しますが、モーション関連の研究ではまだ十分に調査されていません。私たちの知る限り、これはEMGモダリティを持つ最初のアクションデータセットです。 EV-Actionデータセットの詳細が明らかにされ、一方、EMGベースのアクション認識のためのシンプルで効果的なフレームワークが提案されています。さらに、すべてのモダリティの有効性を評価するために、最先端のベースラインが適用されます。得られた結果は、人間の行動分析タスクにおけるEMGモダリティの有効性を明確に示しています。このデータセットが、人間の運動解析、コンピュータービジョン、機械学習、生体力学、その他の学際的な分野に大きく貢献できることを願っています。
Multi-modal human action analysis is a critical and attractive research topic. However, the majority of the existing datasets only provide visual modalities (i.e., RGB, depth and skeleton). To make up this, we introduce a new, large-scale EV-Action dataset in this work, which consists of RGB, depth, electromyography (EMG), and two skeleton modalities. Compared with the conventional datasets, EV-Action dataset has two major improvements: (1) we deploy a motion capturing system to obtain high quality skeleton modality, which provides more comprehensive motion information including skeleton, trajectory, acceleration with higher accuracy, sampling frequency, and more skeleton markers. (2) we introduce an EMG modality which is usually used as an effective indicator in the biomechanics area, also it has yet to be well explored in motion related research. To the best of our knowledge, this is the first action dataset with EMG modality. The details of EV-Action dataset are clarified, meanwhile, a simple yet effective framework for EMG-based action recognition is proposed. Moreover, state-of-the-art baselines are applied to evaluate the effectiveness of all the modalities. The obtained result clearly shows the validity of EMG modality in human action analysis tasks. We hope this dataset can make significant contributions to human motion analysis, computer vision, machine learning, biomechanics, and other interdisciplinary fields.
updated: Wed Feb 26 2020 02:37:33 GMT+0000 (UTC)
published: Sat Apr 20 2019 08:06:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト