単眼およびステレオビジョンは、自動運転車またはソーシャルロボットのコンテキストでの3D人間のローカリゼーションのための費用効果の高いソリューションです。ただし、通常は独立して開発され、それぞれの長所と制限があります。 3D人間のローカリゼーションのために単眼とステレオの両方の手がかりの長所を活用する新しい統一学習フレームワークを提案します。私たちの方法は、(i)左右の画像で人間を関連付け、(ii)単眼の手がかりの堅牢性に依存することにより、ステレオ設定での隠れた遠方のケースを処理し、(iii)事前の活用により、単眼の遠近法投影の本質的な曖昧さに取り組みます。人間の身長分布に関する知識。特に、エラー分布全体を分析し、キャリブレーションされた信頼区間を推定することにより、外れ値だけでなく、閉塞した歩行者や遠くの歩行者などの困難なインスタンスを評価します。最後に、公式のKITTI 3Dメトリックを批判的にレビューし、人間に合わせた実用的な3Dローカリゼーションメトリックを提案します。
Monocular and stereo visions are cost-effective solutions for 3D human localization in the context of self-driving cars or social robots. However, they are usually developed independently and have their respective strengths and limitations. We propose a novel unified learning framework that leverages the strengths of both monocular and stereo cues for 3D human localization. Our method jointly (i) associates humans in left-right images, (ii) deals with occluded and distant cases in stereo settings by relying on the robustness of monocular cues, and (iii) tackles the intrinsic ambiguity of monocular perspective projection by exploiting prior knowledge of the human height distribution. We specifically evaluate outliers as well as challenging instances, such as occluded and far-away pedestrians, by analyzing the entire error distribution and by estimating calibrated confidence intervals. Finally, we critically review the official KITTI 3D metrics and propose a practical 3D localization metric tailored for humans.