この論文は、単一のRGB画像からの複数人の3Dメッシュ回復に焦点を当てています。既存のアプローチは、主に多段階パイプラインに従います。このパイプラインは、境界ボックスを検出し、境界ボックスレベルの機能から本体を回帰します。ただし、複数人のオクルージョンとトランケーションにより、これらの機能があいまいになり、回復に失敗する可能性があります。この問題に対処するために、「センターベースのヒューマンメッシュリカバリネットワーク(CenterHMR)」という名前の新しいボトムアップシングルショット方式を紹介します。重要なアイデアは、ボトムアップのピクセルレベルの推定のための明示的な中心ベースの表現を開発することです。ボディセンターに導かれて、私たちのモデルはすべての人を効果的に特定し、閉塞下で堅牢で識別可能な特徴を学習します。エンドツーエンドの方法で、モデルは、複数人の3Dボディメッシュとその位置の情報を含む複数の微分可能なマップを推定するようにトレーニングされます。さらに、深刻な複数人の咬合に遭遇すると、体の中心が非常に近くなる可能性があります。または重複しています。衝突を意識した中心表現は、体の中心間の識別可能な距離を確保するために開発されています。私たちが提案するCenterHMRは、4つの挑戦的なマルチパーソン/オクルージョンベンチマーク(3DPW、CMU Panoptic、MuPoTs-3D、および3DOH50K)で最先端のパフォーマンスを実現します。混雑した/閉塞したデータセットでの実験は、さまざまなタイプの閉塞下での安定性を示しています。簡潔なボトムアップシングルショット設計により、リリースされたデモコード(https://github.com/Arthur151/CenterHMR)は、単眼マルチパーソン3Dの最初のオープンソースリアルタイム(30 FPS以上)実装です。メッシュ回復。
This paper focuses on multi-person 3D mesh recovery from a single RGB image. Existing approaches predominantly follow a multi-stage pipeline, that detects bounding boxes and then regresses the body from bounding-box-level features. However, multi-person occlusion and truncation can make these features ambiguous, which results in the failure of recovery. To deal with this problem, we present a novel bottom-up single-shot method, named "Center-based Human Mesh Recovery network (CenterHMR)". The key idea is to develop an explicit center-based representation for bottom-up pixel-level estimation. Guided by the body centers, our model effectively locates every person and learns robust and discriminative features under occlusion. In an end-to-end manner, the model is trained to estimate multiple differentiable maps that contain the information of multi-person 3D body meshes and their locations.Furthermore, when encountering severe multi-person occlusion, the body centers may be very close or even overlapping. A collision-aware center representation is developed to ensure a distinguishable distance between body centers. Our proposed CenterHMR achieves state-of-the-art performance on four challenging multi-person/occlusion benchmarks (3DPW, CMU Panoptic, MuPoTs-3D, and 3DOH50K). Experiments on crowded/occluded datasets demonstrate the stability under various types of occlusion. Due to the concise bottom-up single-shot design, our released demo code (https://github.com/Arthur151/CenterHMR) is the first open-source real-time (over 30 FPS) implementation of monocular multi-person 3D mesh recovery.