arXiv reaDer
LSTA-Net:スケルトンベースのアクション認識のための長期の短期時空間集約ネットワーク
LSTA-Net: Long short-term Spatio-Temporal Aggregation Network for Skeleton-based Action Recognition
さまざまな時空間依存関係をモデル化することは、骨格シーケンスにおける人間の行動を認識するための鍵です。ほとんどの既存の方法は、動的ジョイントの依存関係を描画するためにトラバーサルルールまたはグラフトポロジの設計に過度に依存していました。これは、離れているが重要なジョイントの関係を反映するには不十分です。さらに、ローカルで採用された操作のために、重要な長距離の時間情報は、したがって、既存の作品では十分に調査されていません。この問題に対処するために、この作業では、LSTA-Netを提案します。これは、時空間的な方法で長距離/短距離の依存関係を効果的にキャプチャできる、新しい長期の短期時空間集約ネットワークです。モデルを、空間的特徴の集約と時間的特徴の集約を交互に実行できる純粋な因数分解アーキテクチャに考案します。特徴集約効果を改善するために、チャネルごとの注意メカニズムも設計され、採用されています。 3つの公開ベンチマークデータセットで広範な実験が行われ、その結果は、私たちのアプローチが空間および時間領域の長距離と短距離の両方の依存関係をキャプチャでき、他の最先端の方法よりも高い結果をもたらすことを示唆しています。コードはhttps://github.com/tailin1009/LSTA-Netで入手できます。
Modelling various spatio-temporal dependencies is the key to recognising human actions in skeleton sequences. Most existing methods excessively relied on the design of traversal rules or graph topologies to draw the dependencies of the dynamic joints, which is inadequate to reflect the relationships of the distant yet important joints. Furthermore, due to the locally adopted operations, the important long-range temporal information is therefore not well explored in existing works. To address this issue, in this work we propose LSTA-Net: a novel Long short-term Spatio-Temporal Aggregation Network, which can effectively capture the long/short-range dependencies in a spatio-temporal manner. We devise our model into a pure factorised architecture which can alternately perform spatial feature aggregation and temporal feature aggregation. To improve the feature aggregation effect, a channel-wise attention mechanism is also designed and employed. Extensive experiments were conducted on three public benchmark datasets, and the results suggest that our approach can capture both long-and-short range dependencies in the space and time domain, yielding higher results than other state-of-the-art methods. Code available at https://github.com/tailin1009/LSTA-Net.
updated: Mon Nov 01 2021 10:53:35 GMT+0000 (UTC)
published: Mon Nov 01 2021 10:53:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト