自律走行、拡張現実、仮想現実などのいくつかのアプリケーションでは、3D人間のポーズを正確に予測する必要があります。最近、観察された2Dポーズから3D人間のポーズを予測するために、新しい問題がフィールドに導入されました。 2Dから1回のパスで将来の3Dスケルトンポーズを予測する深い時空間グラフCNNモデルであるSkeleton-Graphを提案します。以前の作品とは異なり、Skeleton-Graphは、スケルトンジョイント間の相互作用を、それらの空間構成を活用してモデル化することに重点を置いています。これは、適切なグラフ隣接カーネルを学習しながら、問題をグラフ構造として定式化することによって達成されています。設計上、Skeleton-Graphは、以前の作品とは異なり、長期的に発散することなく将来の3Dポーズを予測します。また、長期的な予測の相違を測定する新しいメトリックを紹介します。私たちの結果は、以前の作業と比較して、GTA-IMデータセットとPROXデータセットの両方でそれぞれ少なくとも27%のFDEの改善と4%のADEの改善を示しています。また、GTA-IMデータセットとPROXデータセットの両方での以前の作業と比較して、長期的なモーション予測の相違が88%および93%少なくなっています。コードはhttps://github.com/abduallahmohamed/Skeleton-Graph.gitで入手できます。
Several applications such as autonomous driving, augmented reality and virtual reality require a precise prediction of the 3D human pose. Recently, a new problem was introduced in the field to predict the 3D human poses from observed 2D poses. We propose Skeleton-Graph, a deep spatio-temporal graph CNN model that predicts the future 3D skeleton poses in a single pass from the 2D ones. Unlike prior works, Skeleton-Graph focuses on modeling the interaction between the skeleton joints by exploiting their spatial configuration. This is being achieved by formulating the problem as a graph structure while learning a suitable graph adjacency kernel. By the design, Skeleton-Graph predicts the future 3D poses without divergence in the long-term, unlike prior works. We also introduce a new metric that measures the divergence of predictions in the long term. Our results show an FDE improvement of at least 27% and an ADE of 4% on both the GTA-IM and PROX datasets respectively in comparison with prior works. Also, we are 88% and 93% less divergence on the long-term motion prediction in comparison with prior works on both GTA-IM and PROX datasets. Code is available at https://github.com/abduallahmohamed/Skeleton-Graph.git