3Dヒューマンアクションのポイントクラウドシーケンスは、順序付けられたポイントクラウドフレームのセットで構成されます。静的な点群と比較して、点群シーケンスは時間次元に比例する巨大なデータサイズを持っています。したがって、効率的で軽量な点群シーケンスモデルの開発は、3Dアクション認識にとって極めて重要です。本論文では、3D行動認識のためのSequentialPointNetと呼ばれる強力なフレームレベルの並列点群シーケンスネットワークを提案します。私たちのアプローチの鍵は、主要なモデリング操作を並列で実行されるフレームレベルのユニットに分割することです。これにより、ポイントクラウドシーケンスのモデリングの効率が大幅に向上します。さらに、ポイントクラウドシーケンスをハイパーポイントという名前の新しいポイントデータ型にフラット化することを提案します。各フレームの完全な空間構造を保持するシーケンス。次に、新しいHyperpoint-Mixerモジュールを導入して、ハイパーポイントシーケンスのフレーム内空間機能とフレーム間時間機能を混合します。そうすることで、SequentialPointNetは外観のエンコード能力を最大化し、効果的な人間の行動認識に十分なモーション情報を抽出します。広範な実験により、SequentialPointNetは既存のポイントクラウドシーケンスモデルよりも最大10倍高速に達成されることが示されています。さらに、SequentialPointNetは、大規模なデータセット(NTU RGB +D60およびNTURGB+ D 120)と小規模なデータセット(MSR Action3DおよびUTD)の両方で、人間の行動認識に関する最先端のアプローチを上回っています。 -MHAD)。
The point cloud sequence of 3D human actions consists of a set of ordered point cloud frames. Compared to static point clouds, point cloud sequences have huge data sizes proportional to the time dimension. Therefore, developing an efficient and lightweight point cloud sequence model is pivotal for 3D action recognition. In this paper, we propose a strong frame-level parallel point cloud sequence network referred to as SequentialPointNet for 3D action recognition. The key to our approach is to divide the main modeling operations into frame-level units executed in parallel, which greatly improves the efficiency of modeling point cloud sequences.Moreover, we propose to flatten the point cloud sequence into a new point data type named hyperpoint sequence that preserves the complete spatial structure of each frame. Then, a novel Hyperpoint-Mixer module is introduced to mix intra-frame spatial features and inter-frame temporal features of the hyperpoint sequence. By doing so, SequentialPointNet maximizes the appearance encoding ability and extracts sufficient motion information for effective human action recognition. Extensive experiments show that SequentialPointNet achieves up to 10X faster than existing point cloud sequence models. Additionally, our SequentialPointNet surpasses state-of-the-art approaches for human action recognition on both large-scale datasets (i.e., NTU RGB+D 60 and NTU RGB+D 120) and small-scale datasets (i.e., MSR Action3D and UTD-MHAD).