この論文では、特定の活動を行っている人間の現在活性化されている筋肉領域を特定することを目的とした、ビデオベースの活性化筋群推定 (AMGE) の新しいタスクに取り組みます。ビデオベースの AMGE は、重要でありながら見過ごされている問題です。この目的のために、136 の異なるアクティビティと 20 のラベル付けされた筋肉グループを含む 15,000 を超えるビデオ クリップを特徴とする MuscleMap136 を提供します。このデータセットは、スポーツおよびリハビリテーション医療における複数のビデオベースのアプリケーションへの見通しを開きます。特に運動を対象とするメインの MuscleMap136 データセットを、AMGE アノテーションで拡張されたよく知られたアクティビティ認識ベンチマークの新しいバリアントである Muscle-UCF90 と Muscle-HMDB41 でさらに補完します。 MuscleMap136 を使用することで、マルチラベルの筋肉アノテーションを処理する際の人間の活動認識のための最先端のアーキテクチャの限界を発見し、目に見えない活動への適切な一般化が必要です。これに対処するために、新しいマルチモーダル トランスフォーマー ベースのモデルである TransM3E を提案します。これは、AMGE の現在のアクティビティ認識モデルを凌駕します。データセットとコードは、https://github.com/KPeng9510/MuscleMap で公開されます。
In this paper, we tackle the new task of video-based Activated Muscle Group Estimation (AMGE) aiming at identifying currently activated muscular regions of humans performing a specific activity. Video-based AMGE is an important yet overlooked problem. To this intent, we provide the MuscleMap136 featuring >15K video clips with 136 different activities and 20 labeled muscle groups. This dataset opens the vistas to multiple video-based applications in sports and rehabilitation medicine. We further complement the main MuscleMap136 dataset, which specifically targets physical exercise, with Muscle-UCF90 and Muscle-HMDB41, which are new variants of the well-known activity recognition benchmarks extended with AMGE annotations. With MuscleMap136, we discover limitations of state-of-the-art architectures for human activity recognition when dealing with multi-label muscle annotations and good generalization to unseen activities is required. To address this, we propose a new multimodal transformer-based model, TransM3E, which surpasses current activity recognition models for AMGE, especially as it comes to dealing with previously unseen activities. The datasets and code will be publicly available at https://github.com/KPeng9510/MuscleMap.