arXiv reaDer
時空間ゲーティング-人間の動きを予測するための隣接GCN
Spatio-Temporal Gating-Adjacency GCN for Human Motion Prediction
過去のモーションシーケンスに基づいて将来のモーションを予測することは、コンピュータビジョンの基本的な問題であり、自動運転やロボット工学で幅広い用途があります。最近のいくつかの研究では、グラフ畳み込みネットワーク(GCN)が異なる関節間の関係のモデル化に役立つことが示されています。ただし、人間の動きデータのバリアントと多様なアクションタイプを考慮すると、分離されたモデリング戦略のために時空間関係の相互依存性を表現することは困難であり、これも不十分な一般化の問題を悪化させる可能性があります。したがって、さまざまなアクションタイプにわたる複雑な時空間依存関係を学習するために、時空間ゲーティング隣接GCN(GAGCN)を提案します。具体的には、ゲーティングネットワークを採用して、候補の時空間隣接行列をブレンドすることによって得られるトレーニング可能な適応隣接行列を介してGCNの一般化を強化します。さらに、GAGCNは、時空間モデリングの重みのバランスを取り、分離された時空間機能を融合することにより、空間と時間の相互依存性に対処します。 Human 3.6M、AMASS、および3DPWに関する広範な実験は、GAGCNが短期および長期の両方の予測で最先端のパフォーマンスを達成することを示しています。
Predicting future motion based on historical motion sequence is a fundamental problem in computer vision, and it has wide applications in autonomous driving and robotics. Some recent works have shown that Graph Convolutional Networks(GCN) are instrumental in modeling the relationship between different joints. However, considering the variants and diverse action types in human motion data, the cross-dependency of the spatio-temporal relationships will be difficult to depict due to the decoupled modeling strategy, which may also exacerbate the problem of insufficient generalization. Therefore, we propose the Spatio-Temporal Gating-Adjacency GCN(GAGCN) to learn the complex spatio-temporal dependencies over diverse action types. Specifically, we adopt gating networks to enhance the generalization of GCN via the trainable adaptive adjacency matrix obtained by blending the candidate spatio-temporal adjacency matrices. Moreover, GAGCN addresses the cross-dependency of space and time by balancing the weights of spatio-temporal modeling and fusing the decoupled spatio-temporal features. Extensive experiments on Human 3.6M, AMASS, and 3DPW demonstrate that GAGCN achieves state-of-the-art performance in both short-term and long-term predictions.
updated: Sat Jul 09 2022 12:32:05 GMT+0000 (UTC)
published: Thu Mar 03 2022 01:20:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト