完全に監視されたスケルトンベースの行動認識は、深層学習技術の開花とともに大きな進歩を遂げました。ただし、これらの方法では十分なラベル付きデータが必要であり、入手は容易ではありません。対照的に、自己教師付きスケルトンベースの行動認識がより注目を集めています。ラベルなしデータを利用することで、より一般化可能な特徴を学習して、過剰適合の問題を軽減し、大量のラベル付きトレーニング データの需要を軽減できます。 MAE からインスピレーションを得て、自己教師あり 3D スケルトンベースのアクション認識 (SkeletonMAE) のための時空間マスクされたオートエンコーダー フレームワークを提案します。 MAE のマスキングおよび再構築パイプラインに従って、スケルトン ベースのエンコーダ デコーダ トランスフォーマ アーキテクチャを利用して、マスクされたスケルトン シーケンスを再構築します。時空間マスキングと呼ばれる新しいマスキング戦略が、スケルトン シーケンスのジョイント レベルとフレーム レベルの両方の観点から導入されています。この事前トレーニング戦略により、エンコーダーは空間的および時間的依存関係を持つ一般化可能なスケルトン特徴を出力します。マスクされていないスケルトン シーケンスが与えられると、エンコーダーは動作認識タスク用に微調整されます。広範な実験により、当社の SkeletonMAE が顕著なパフォーマンスを達成し、NTU RGB+D および NTU RGB+D 120 データセットの両方で最先端の手法を上回るパフォーマンスを示していることが示されています。
Fully supervised skeleton-based action recognition has achieved great progress with the blooming of deep learning techniques. However, these methods require sufficient labeled data which is not easy to obtain. In contrast, self-supervised skeleton-based action recognition has attracted more attention. With utilizing the unlabeled data, more generalizable features can be learned to alleviate the overfitting problem and reduce the demand of massive labeled training data. Inspired by the MAE, we propose a spatial-temporal masked autoencoder framework for self-supervised 3D skeleton-based action recognition (SkeletonMAE). Following MAE's masking and reconstruction pipeline, we utilize a skeleton-based encoder-decoder transformer architecture to reconstruct the masked skeleton sequences. A novel masking strategy, named Spatial-Temporal Masking, is introduced in terms of both joint-level and frame-level for the skeleton sequence. This pre-training strategy makes the encoder output generalizable skeleton features with spatial and temporal dependencies. Given the unmasked skeleton sequence, the encoder is fine-tuned for the action recognition task. Extensive experiments show that our SkeletonMAE achieves remarkable performance and outperforms the state-of-the-art methods on both NTU RGB+D and NTU RGB+D 120 datasets.