手指などのきめの細かい関節の欠如は、最大の行動認識データセットであるNTU-RGBDでトレーニングされた最先端の骨格行動認識モデルの基本的なパフォーマンスのボトルネックです。このボトルネックに対処するために、新しいスケルトンベースのヒューマンアクションデータセットであるNTU60-Xを導入します。 NTU-RGBDのように各スケルトンの25の体の関節に加えて、NTU60-Xデータセットには指と顔の関節が含まれているため、より豊かなスケルトン表現が可能になります。導入されたデータセットを使用したトレーニングを可能にするために、最先端のアプローチを適切に変更します。私たちの結果は、前述のボトルネックを克服し、全体的に、そしてこれまでで最もパフォーマンスの低いアクションカテゴリで最先端のパフォーマンスを向上させるNTU60-Xの有効性を示しています。
The lack of fine-grained joints such as hand fingers is a fundamental performance bottleneck for state of the art skeleton action recognition models trained on the largest action recognition dataset, NTU-RGBD. To address this bottleneck, we introduce a new skeleton based human action dataset - NTU60-X. In addition to the 25 body joints for each skeleton as in NTU-RGBD, NTU60-X dataset includes finger and facial joints, enabling a richer skeleton representation. We appropriately modify the state of the art approaches to enable training using the introduced dataset. Our results demonstrate the effectiveness of NTU60-X in overcoming the aforementioned bottleneck and improve state of the art performance, overall and on hitherto worst performing action categories.