arXiv reaDer
ロバストなスケルトンベースのアクション認識のための豊富にアクティブ化されたグラフ畳み込みネットワーク
Richly Activated Graph Convolutional Network for Robust Skeleton-based Action Recognition
スケルトンベースの人間の行動認識の現在の方法は、通常、完全なスケルトンで機能します。ただし、実際のシナリオでは、不完全またはノイズの多いスケルトンをキャプチャすることは避けられません。これにより、有益なジョイントが閉塞または乱されたときに、現在のメソッドのパフォーマンスが大幅に低下する可能性があります。アクション認識モデルのロバスト性を改善するために、マルチストリームグラフたたみ込みネットワーク(GCN)が提案され、すべてのスケルトンジョイントに広がる十分な識別機能を探索し、分散冗長表現が非標準スケルトンに対するアクションモデルの感度を低下させるようにします。 。具体的には、バックボーンGCNは一連の順序付けられたストリームによって拡張され、先行するストリームによってあまり活性化されていない関節から識別機能を学習します。ここでは、各GCNストリームのスケルトンジョイントのアクティブ化度がクラスアクティベーションマップ(CAM)によって測定され、非アクティブ化されたジョイントからの情報のみが次のストリームに渡されます。これにより、すべてのアクティブジョイントの豊富な機能が取得されます。したがって、提案された方法は、豊富に活性化されたGCN(RA-GCN)と呼ばれます。 RA-GCNは、最先端の(SOTA)メソッドと比較して、標準のNTU RGB + D 60および120データセットで同等のパフォーマンスを実現します。さらに重要なことに、合成オクルージョンとジッタリングデータセットでは、提案されたRA-GCNを利用することで、ジョイントの妨害と妨害によるパフォーマンスの低下を大幅に軽減できます。
Current methods for skeleton-based human action recognition usually work with complete skeletons. However, in real scenarios, it is inevitable to capture incomplete or noisy skeletons, which could significantly deteriorate the performance of current methods when some informative joints are occluded or disturbed. To improve the robustness of action recognition models, a multi-stream graph convolutional network (GCN) is proposed to explore sufficient discriminative features spreading over all skeleton joints, so that the distributed redundant representation reduces the sensitivity of the action models to non-standard skeletons. Concretely, the backbone GCN is extended by a series of ordered streams which is responsible for learning discriminative features from the joints less activated by preceding streams. Here, the activation degrees of skeleton joints of each GCN stream are measured by the class activation maps (CAM), and only the information from the unactivated joints will be passed to the next stream, by which rich features over all active joints are obtained. Thus, the proposed method is termed richly activated GCN (RA-GCN). Compared to the state-of-the-art (SOTA) methods, the RA-GCN achieves comparable performance on the standard NTU RGB+D 60 and 120 datasets. More crucially, on the synthetic occlusion and jittering datasets, the performance deterioration due to the occluded and disturbed joints can be significantly alleviated by utilizing the proposed RA-GCN.
updated: Thu Nov 26 2020 02:07:30 GMT+0000 (UTC)
published: Sun Aug 09 2020 19:06:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト