arXiv reaDer
単一偏光画像からの人間の姿勢と形状の推定
Human Pose and Shape Estimation from Single Polarization Images
この論文は、単一偏光画像から人間の姿勢と形状を推定するという新しい問題に焦点を当てています。偏光カメラは、反射光の偏光をキャプチャして、オブジェクト表面の豊富な幾何学的手がかりを維持できることが知られています。偏光画像からの表面法線再構成における最近のアプリケーションに触発されて、この論文では、偏光によって誘発された幾何学的手がかりを利用することによって、単一の偏光画像から人間の姿勢と形状を推定することを試みます。専用の2ステージパイプラインが提案されています。単一の偏光画像が与えられた場合、ステージ1(Polar2Normal)は、詳細な人体表面の法線推定に焦点を合わせます。次に、ステージ2(Polar2Shape)は、偏光画像と推定された表面法線から、服を着た人間の形状を再構築します。私たちのアプローチを経験的に検証するために、正確なポーズとパラメトリック形状の注釈を備えた500Kを超えるフレームで構成される専用のデータセット(PHSPD)が構築されます。この実世界のデータセットと合成データセットSURREALの経験的評価は、私たちのアプローチの有効性を示しています。これは、人間の姿勢や形状を推定するための従来のRGBカメラの有望な代替手段として偏光カメラを提案しています。
This paper focuses on a new problem of estimating human pose and shape from single polarization images. Polarization camera is known to be able to capture the polarization of reflected lights that preserves rich geometric cues of an object surface. Inspired by the recent applications in surface normal reconstruction from polarization images, in this paper, we attempt to estimate human pose and shape from single polarization images by leveraging the polarization-induced geometric cues. A dedicated two-stage pipeline is proposed: given a single polarization image, stage one (Polar2Normal) focuses on the fine detailed human body surface normal estimation; stage two (Polar2Shape) then reconstructs clothed human shape from the polarization image and the estimated surface normal. To empirically validate our approach, a dedicated dataset (PHSPD) is constructed, consisting of over 500K frames with accurate pose and parametric shape annotations. Empirical evaluations on this real-world dataset as well as a synthetic dataset, SURREAL, demonstrate the effectiveness of our approach. It suggests polarization camera as a promising alternative to the more conventional RGB camera for human pose and shape estimation.
updated: Tue Mar 22 2022 20:02:03 GMT+0000 (UTC)
published: Sun Aug 15 2021 22:56:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト