arXiv reaDer
複数の3D人物の単眼、1段階、回帰
Monocular, One-stage, Regression of Multiple 3D People
このホワイトペーパーでは、単一のRGB画像からの複数の3D人物の回帰に焦点を当てています。既存のアプローチは主に、最初に境界ボックス内の人を検出し、次に3Dボディメッシュを独立して回帰する多段階パイプラインに従います。対照的に、複数の3D人物(ROMPと呼ばれる)に対して、すべてのメッシュを1段階で回帰することを提案します。このアプローチは概念的に単純で、境界ボックスがなく、エンドツーエンドの方法でピクセルごとの表現を学習できます。私たちの方法は、ボディセンターヒートマップとメッシュパラメータマップを同時に予測します。これらは、ピクセルレベルで3Dボディメッシュを共同で記述することができます。ボディセンターガイドサンプリングプロセスにより、画像内のすべての人のボディメッシュパラメータがメッシュパラメータマップから簡単に抽出されます。このようなきめ細かい表現を備えた1ステージのフレームワークは、複雑なマルチステージプロセスがなく、オクルージョンに対してより堅牢です。最先端の方法と比較して、ROMPは、3DPWやCMU Panopticなど、困難な複数人のベンチマークで優れたパフォーマンスを実現します。混雑した/閉塞されたデータセットでの実験は、さまざまなタイプの閉塞下での堅牢性を示しています。リリースされたコードは、単眼の複数人の3Dメッシュ回帰の最初のリアルタイム実装です。
This paper focuses on the regression of multiple 3D people from a single RGB image. Existing approaches predominantly follow a multi-stage pipeline that first detects people in bounding boxes and then independently regresses their 3D body meshes. In contrast, we propose to Regress all meshes in a One-stage fashion for Multiple 3D People (termed ROMP). The approach is conceptually simple, bounding box-free, and able to learn a per-pixel representation in an end-to-end manner. Our method simultaneously predicts a Body Center heatmap and a Mesh Parameter map, which can jointly describe the 3D body mesh on the pixel level. Through a body-center-guided sampling process, the body mesh parameters of all people in the image are easily extracted from the Mesh Parameter map. Equipped with such a fine-grained representation, our one-stage framework is free of the complex multi-stage process and more robust to occlusion. Compared with state-of-the-art methods, ROMP achieves superior performance on the challenging multi-person benchmarks, including 3DPW and CMU Panoptic. Experiments on crowded/occluded datasets demonstrate the robustness under various types of occlusion. The released code is the first real-time implementation of monocular multi-person 3D mesh regression.
updated: Thu Sep 16 2021 11:41:15 GMT+0000 (UTC)
published: Thu Aug 27 2020 17:21:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト