arXiv reaDer
VoxelTrack: Multi-Person 3D Human Pose Estimation and Tracking in the Wild
広いベースラインで区切られたいくつかのカメラからの複数人の3Dポーズ推定と追跡のためのVoxelTrackを紹介します。マルチブランチネットワークを採用して、環境内のすべての人々の3Dポーズと再識別(Re-ID)機能を共同で推定します。ノイズの多い2Dポーズ推定に基づいてクロスビュー対応を確立する必要がある以前の取り組みとは対照的に、マルチビュー画像から構築された3Dボクセルベースの表現から3Dポーズを直接推定および追跡します。まず、通常のボクセルによって3D空間を離散化し、すべてのビューから逆投影された体の関節のヒートマップを平均することによって、各ボクセルの特徴ベクトルを計算します。各ボクセルに特定の体の関節が含まれているかどうかを予測することにより、ボクセル表現から3Dポーズを推定します。同様に、Re-ID機能は、推定された3Dポーズを経時的に追跡するために使用されるボクセルごとに計算されます。このアプローチの主な利点は、個々の画像に基づいて難しい決定を下すことを回避できることです。このアプローチでは、一部のカメラで人がひどく遮られている場合でも、3Dポーズを確実に推定して追跡できます。 Shelf、Campus、CMU Panopticを含む3つの公開データセットで、最先端の方法を大幅に上回っています。
We present VoxelTrack for multi-person 3D pose estimation and tracking from a few cameras which are separated by wide baselines. It employs a multi-branch network to jointly estimate 3D poses and re-identification (Re-ID) features for all people in the environment. In contrast to previous efforts which require to establish cross-view correspondence based on noisy 2D pose estimates, it directly estimates and tracks 3D poses from a 3D voxel-based representation constructed from multi-view images. We first discretize the 3D space by regular voxels and compute a feature vector for each voxel by averaging the body joint heatmaps that are inversely projected from all views. We estimate 3D poses from the voxel representation by predicting whether each voxel contains a particular body joint. Similarly, a Re-ID feature is computed for each voxel which is used to track the estimated 3D poses over time. The main advantage of the approach is that it avoids making any hard decisions based on individual images. The approach can robustly estimate and track 3D poses even when people are severely occluded in some cameras. It outperforms the state-of-the-art methods by a large margin on three public datasets including Shelf, Campus and CMU Panoptic.
updated: Thu Aug 05 2021 08:35:44 GMT+0000 (UTC)
published: Thu Aug 05 2021 08:35:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト