arXiv reaDer
教師なしスケルトンベースのアクション認識のためのアクションレット依存の対照学習
Actionlet-Dependent Contrastive Learning for Unsupervised Skeleton-Based Action Recognition
自己教師あり事前トレーニング パラダイムは、スケルトン ベースのアクション認識で大きな成功を収めています。ただし、これらの方法は、動作部分と静的部分を同等に扱い、さまざまな部分の適応設計に欠けているため、動作認識の精度に悪影響を及ぼします。両方の部分の適応行動モデリングを実現するために、Actionlet-Dependent Contrastive Learning method (ActCLR) を提案します。人間の骨格の識別可能なサブセットとして定義されるアクションレットは、モーション領域を効果的に分解して、より優れたアクション モデリングを実現します。具体的には、動きのない静的アンカーと対比して、アクションレットとなるスケルトンデータの動き領域を教師なしで抽出します。次に、アクションレットを中心に、モーション適応データ変換メソッドを構築します。アクションレット領域と非アクションレット領域に異なるデータ変換が適用され、独自の特性を維持しながら多様性が導入されます。一方で、動作領域と静的領域の間で特徴表現を区別して構築するためのセマンティック認識特徴プーリング手法を提案します。 NTU RGB+D と PKUMMD に関する広範な実験により、提案された方法が顕著な行動認識性能を達成することが示されています。より多くの視覚化と定量的実験は、私たちの方法の有効性を示しています。私たちのプロジェクトのウェブサイトは https://langlandslin.github.io/projects/ActCLR/ にあります。
The self-supervised pretraining paradigm has achieved great success in skeleton-based action recognition. However, these methods treat the motion and static parts equally, and lack an adaptive design for different parts, which has a negative impact on the accuracy of action recognition. To realize the adaptive action modeling of both parts, we propose an Actionlet-Dependent Contrastive Learning method (ActCLR). The actionlet, defined as the discriminative subset of the human skeleton, effectively decomposes motion regions for better action modeling. In detail, by contrasting with the static anchor without motion, we extract the motion region of the skeleton data, which serves as the actionlet, in an unsupervised manner. Then, centering on actionlet, a motion-adaptive data transformation method is built. Different data transformations are applied to actionlet and non-actionlet regions to introduce more diversity while maintaining their own characteristics. Meanwhile, we propose a semantic-aware feature pooling method to build feature representations among motion and static regions in a distinguished manner. Extensive experiments on NTU RGB+D and PKUMMD show that the proposed method achieves remarkable action recognition performance. More visualization and quantitative experiments demonstrate the effectiveness of our method. Our project website is available at https://langlandslin.github.io/projects/ActCLR/
updated: Tue Mar 21 2023 08:32:22 GMT+0000 (UTC)
published: Mon Mar 20 2023 06:47:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト