ビジョンベースの行動認識における重要な課題は、2 つ以上の異種モダリティを持つ時空間機能を 1 つの機能に埋め込むことです。この研究では、適応時空間受容野とクロスモーダル学習スキームを使用した行動認識のための新しい 3D 変形可能トランスフォーマーを提案します。 3D デフォーマブル トランスフォーマーは、3D デフォーマビリティ、ローカル ジョイント ストライド、テンポラル ストライド アテンションの 3 つのアテンション モジュールで構成されています。 2 つのクロスモーダル トークンが 3D 変形可能アテンション モジュールに入力され、時空間相関が反映されたクロス アテンション トークンが作成されます。ローカル ジョイント ストライド アテンションは、アテンション トークンとポーズ トークンを空間的に結合するために適用されます。一時的なストライドの注意は、注意モジュールの入力トークンの数を一時的に減らし、すべてのトークンを同時に使用することなく一時的な表現学習をサポートします。変形可能トランスフォーマーは L 回反復し、最後のクロスモーダル トークンを組み合わせて分類します。提案された 3D 変形可能トランスフォーマーは、NTU60、NTU120、FineGYM、および PennAction データセットでテストされ、事前トレーニング プロセスがなくても、事前トレーニング済みの最先端の方法よりも優れた、または同様の結果を示しました。さらに、空間的関節および時間的ストライド注意を介して動作認識中に重要な関節および相関関係を視覚化することにより、動作認識の説明可能な可能性を達成する可能性が提示されます。
An important challenge in vision-based action recognition is the embedding of spatiotemporal features with two or more heterogeneous modalities into a single feature. In this study, we propose a new 3D deformable transformer for action recognition with adaptive spatiotemporal receptive fields and a cross-modal learning scheme. The 3D deformable transformer consists of three attention modules: 3D deformability, local joint stride, and temporal stride attention. The two cross-modal tokens are input into the 3D deformable attention module to create a cross-attention token with a reflected spatiotemporal correlation. Local joint stride attention is applied to spatially combine attention and pose tokens. Temporal stride attention temporally reduces the number of input tokens in the attention module and supports temporal expression learning without the simultaneous use of all tokens. The deformable transformer iterates L times and combines the last cross-modal token for classification. The proposed 3D deformable transformer was tested on the NTU60, NTU120, FineGYM, and PennAction datasets, and showed results better than or similar to pre-trained state-of-the-art methods even without a pre-training process. In addition, by visualizing important joints and correlations during action recognition through spatial joint and temporal stride attention, the possibility of achieving an explainable potential for action recognition is presented.