arXiv reaDer
部分的なスポーツ フィールド レジストレーションを使用したスポーツ放送のための単眼 3 次元人物姿勢推定
Monocular 3D Human Pose Estimation for Sports Broadcasts using Partial Sports Field Registration
スポーツ イベントの撮影では、世界中のアスリートの動きを 2D 放送映像に投影し、平面化します。これらの画像の関節のピクセル位置は、高い妥当性で検出できます。アスリートの手足の実際の 3D 動作 (キネマティクス) を復元するには、これらの 2D ピクセル位置を持ち上げて 3 次元に戻す必要があります。これは、特定のシーン ジオメトリを意味します。スポーツ フィールドのよく知られたライン マーキングは、カメラのキャリブレーションとシーンの実際のジオメトリの決定を可能にします。詳細なキネマティクスを抽出するには、アスリートのクローズアップ ショットが必要です。これにより、カメラのキャリブレーションに関連するフィールド マーカーがわかりにくくなります。部分的なスポーツ フィールド レジストレーションをお勧めします。これにより、シーンに一貫した一連のカメラ キャリブレーションが 1 つの自由度まで決定されます。 3D ポーズ推定とカメラ キャリブレーションの共同最適化により、400m トラックで 3D ランニング キネマティクスの抽出に成功したことを示します。この作業では、有効な大規模な運動学的データセットを収集する手段を示すために、部分的なスポーツ フィールド レジストレーションによる 2D 人間の姿勢推定とカメラ キャリブレーションの進歩を組み合わせます。既存の単眼 3D HPE メソッドの限界を示すために、Unreal Engine 5 で異なる視点、ランニング スタイル、ボディ タイプを使用して 10,000 を超える画像の合成データセットを生成します。合成データとコードは、https://github.com/tobibaum/PartialSportsFieldReg_3DHPE で入手できます。
The filming of sporting events projects and flattens the movement of athletes in the world onto a 2D broadcast image. The pixel locations of joints in these images can be detected with high validity. Recovering the actual 3D movement of the limbs (kinematics) of the athletes requires lifting these 2D pixel locations back into a third dimension, implying a certain scene geometry. The well-known line markings of sports fields allow for the calibration of the camera and for determining the actual geometry of the scene. Close-up shots of athletes are required to extract detailed kinematics, which in turn obfuscates the pertinent field markers for camera calibration. We suggest partial sports field registration, which determines a set of scene-consistent camera calibrations up to a single degree of freedom. Through joint optimization of 3D pose estimation and camera calibration, we demonstrate the successful extraction of 3D running kinematics on a 400m track. In this work, we combine advances in 2D human pose estimation and camera calibration via partial sports field registration to demonstrate an avenue for collecting valid large-scale kinematic datasets. We generate a synthetic dataset of more than 10k images in Unreal Engine 5 with different viewpoints, running styles, and body types, to show the limitations of existing monocular 3D HPE methods. Synthetic data and code are available at https://github.com/tobibaum/PartialSportsFieldReg_3DHPE.
updated: Mon Apr 10 2023 07:41:44 GMT+0000 (UTC)
published: Mon Apr 10 2023 07:41:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト