固定された視点から3Dシーンを表示するカメラによってキャプチャされた単一のRGB画像またはビデオから、カメラの本質、地面、および人と人との間の物理的距離を同時に推定する完全自動化システムを提案します。カメラのキャリブレーションと距離の推定を自動化するために、人間のポーズに関する事前情報を活用し、ポーズベースの自動キャリブレーションと距離の推定のための新しい直接定式化を開発します。これは、公開されているデータセットで最新のパフォーマンスを示します。提案されたアプローチにより、既存のカメラシステムは、専用のキャリブレーションプロセスや距離センサーを必要とせずに物理的な距離を測定でき、社会的距離や職場の安全などの幅広いユースケースに適用できます。さらに、この分野での評価と推進研究を可能にするために、追加の距離注釈を付けて公開されているMEVAデータセットに貢献し、ポーズベースの自動キャリブレーションと距離推定問題の世界初の評価ベンチマークであるMEVADAを作成します。
We propose a fully automated system that simultaneously estimates the camera intrinsics, the ground plane, and physical distances between people from a single RGB image or video captured by a camera viewing a 3-D scene from a fixed vantage point. To automate camera calibration and distance estimation, we leverage priors about human pose and develop a novel direct formulation for pose-based auto-calibration and distance estimation, which shows state-of-the-art performance on publicly available datasets. The proposed approach enables existing camera systems to measure physical distances without needing a dedicated calibration process or range sensors, and is applicable to a broad range of use cases such as social distancing and workplace safety. Furthermore, to enable evaluation and drive research in this area, we contribute to the publicly available MEVA dataset with additional distance annotations, resulting in MEVADA -- the first evaluation benchmark in the world for the pose-based auto-calibration and distance estimation problem.