グラフ畳み込みネットワーク(GCN)は、ビデオの3D人間ポーズ推定に使用されています。ただし、人間の骨格によると、固定された人間の関節の親和性に基づいて構築されることがよくあります。これにより、ビデオの複雑な時空間ポーズの変化に対処するためのGCNの適応能力が低下する可能性があります。この問題を軽減するために、人間の関節の親和性を動的に識別し、ビデオから空間的/時間的関節関係を適応的に学習することによって3Dポーズを推定できる新しい動的グラフネットワーク(DG-Net)を提案します。従来のグラフ畳み込みとは異なり、動的空間/時間グラフ畳み込み(DSG / DTG)を導入して、このビデオの人間の関節間の空間距離/時間的動きの類似性に応じて、各ビデオエグザンプラの空間的/時間的人間関節親和性を発見します。したがって、2Dポーズを3Dポーズに持ち上げるときの奥行きのあいまいさや動きの不確実性を減らすために、どの関節が空間的に近く、および/または一貫した動きをしているのかを効果的に理解できます。 Human3.6M、HumanEva-I、MPI-INF-3DHPなどの3つの一般的なベンチマークで広範な実験を行っています。ここで、DG-Netは、入力フレームとモデルサイズが少なく、最近の多くのSOTAアプローチよりも優れています。
Graph Convolution Network (GCN) has been successfully used for 3D human pose estimation in videos. However, it is often built on the fixed human-joint affinity, according to human skeleton. This may reduce adaptation capacity of GCN to tackle complex spatio-temporal pose variations in videos. To alleviate this problem, we propose a novel Dynamical Graph Network (DG-Net), which can dynamically identify human-joint affinity, and estimate 3D pose by adaptively learning spatial/temporal joint relations from videos. Different from traditional graph convolution, we introduce Dynamical Spatial/Temporal Graph convolution (DSG/DTG) to discover spatial/temporal human-joint affinity for each video exemplar, depending on spatial distance/temporal movement similarity between human joints in this video. Hence, they can effectively understand which joints are spatially closer and/or have consistent motion, for reducing depth ambiguity and/or motion uncertainty when lifting 2D pose to 3D pose. We conduct extensive experiments on three popular benchmarks, e.g., Human3.6M, HumanEva-I, and MPI-INF-3DHP, where DG-Net outperforms a number of recent SOTA approaches with fewer input frames and model size.