スケルトンベースの人間の行動認識は、近年ますます注目を集めています。ただし、既存の作業のほとんどは、収集に費用がかかることが多い多数の注釈付きアクションシーケンスを必要とする教師あり学習に焦点を合わせています。スケルトンアクション認識のための教師なし表現学習を調査し、ラベルのないスケルトンシーケンスデータからスケルトン表現を学習できる新しいスケルトンクラウド色付け手法を設計します。具体的には、スケルトンアクションシーケンスを3Dスケルトンクラウドとして表し、元の(注釈のない)スケルトンシーケンスの時間的および空間的順序に従ってクラウド内の各ポイントに色を付けます。色付けされたスケルトンポイントクラウドを活用して、スケルトンジョイントの人工カラーラベルから時空間特徴を効果的に学習できるオートエンコーダフレームワークを設計します。教師なし、半教師あり、完全教師ありの設定など、さまざまな構成でトレーニングされたアクション分類子を使用して、スケルトンクラウドの色付けアプローチを評価します。 NTU RGB + DおよびNW-UCLAデータセットに関する広範な実験により、提案された方法は、既存の教師なしおよび半教師あり3Dアクション認識方法を大幅に上回り、教師あり3Dアクション認識でも競争力のあるパフォーマンスを達成することが示されています。
Skeleton-based human action recognition has attracted increasing attention in recent years. However, most of the existing works focus on supervised learning which requiring a large number of annotated action sequences that are often expensive to collect. We investigate unsupervised representation learning for skeleton action recognition, and design a novel skeleton cloud colorization technique that is capable of learning skeleton representations from unlabeled skeleton sequence data. Specifically, we represent a skeleton action sequence as a 3D skeleton cloud and colorize each point in the cloud according to its temporal and spatial orders in the original (unannotated) skeleton sequence. Leveraging the colorized skeleton point cloud, we design an auto-encoder framework that can learn spatial-temporal features from the artificial color labels of skeleton joints effectively. We evaluate our skeleton cloud colorization approach with action classifiers trained under different configurations, including unsupervised, semi-supervised and fully-supervised settings. Extensive experiments on NTU RGB+D and NW-UCLA datasets show that the proposed method outperforms existing unsupervised and semi-supervised 3D action recognition methods by large margins, and it achieves competitive performance in supervised 3D action recognition as well.