arXiv reaDer
人間のポーズの推定と追跡のためのグラフ ニューラル ネットワークによる学習ダイナミクス
Learning Dynamics via Graph Neural Networks for Human Pose Estimation and Tracking
複数人のポーズの推定と追跡は、ビデオを理解するための重要なステップとして機能します。ほとんどの最先端のアプローチは、最初に各フレームでポーズを推定し、その後でデータの関連付けと改良を実装することに依存しています。有望な結果が達成されたにもかかわらず、このような戦略は必然的に、特に雑然としたシーンで検出を見逃しがちです。なぜなら、この検出による追跡パラダイムは、本来、オクルージョンの場合には存在しない視覚的証拠に大きく依存しているためです。この論文では、現在の名声のポーズ検出とは独立しているため、オクルージョンを含む困難なシナリオでも堅牢な推定として機能する可能性のあるポーズダイナミクスを学習するための新しいオンラインアプローチを提案します。具体的には、空間時間情報と視覚情報の両方を明示的に説明するグラフ ニューラル ネットワーク (GNN) を通じて、このダイナミクスの予測を導き出します。これは、履歴ポーズ トラックレットを入力として受け取り、各トラックレットの次のフレームで対応するポーズを直接予測します。予測されたポーズは、最終的なポーズを生成するために、同じフレームで検出されたポーズ (存在する場合) と統合され、推定器によって見逃された隠れたジョイントを潜在的に回復します。 PoseTrack 2017 および PoseTrack 2018 データセットの実験は、提案された方法が、人間の姿勢推定と追跡タスクの両方で、最先端技術より優れた結果を達成することを示しています。
Multi-person pose estimation and tracking serve as crucial steps for video understanding. Most state-of-the-art approaches rely on first estimating poses in each frame and only then implementing data association and refinement. Despite the promising results achieved, such a strategy is inevitably prone to missed detections especially in heavily-cluttered scenes, since this tracking-by-detection paradigm is, by nature, largely dependent on visual evidences that are absent in the case of occlusion. In this paper, we propose a novel online approach to learning the pose dynamics, which are independent of pose detections in current fame, and hence may serve as a robust estimation even in challenging scenarios including occlusion. Specifically, we derive this prediction of dynamics through a graph neural network~(GNN) that explicitly accounts for both spatial-temporal and visual information. It takes as input the historical pose tracklets and directly predicts the corresponding poses in the following frame for each tracklet. The predicted poses will then be aggregated with the detected poses, if any, at the same frame so as to produce the final pose, potentially recovering the occluded joints missed by the estimator. Experiments on PoseTrack 2017 and PoseTrack 2018 datasets demonstrate that the proposed method achieves results superior to the state of the art on both human pose estimation and tracking tasks.
updated: Mon Jun 07 2021 16:36:50 GMT+0000 (UTC)
published: Mon Jun 07 2021 16:36:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト