アルペンスキーなどのスポーツでは、コーチはアスリートと競技者の速度とさまざまな生体力学的変数を知りたいと考えています。既存の方法では、セットアップが面倒な身体装着型センサー、または時間がかかる手動の画像注釈を使用します。複数のカメラを使用して、アスリートのグローバルな3D位置と関節ポーズを推定する方法を提案します。従来のマーカーレスモーションキャプチャソリューションとは対照的に、カメラを自由に回転させて、大量のキャプチャをカバーできます。最初のステップでは、スキーヤーの周りのタイトな作物が予測され、2D姿勢推定ネットワークに供給されます。 3Dポーズは、バンドル調整方法を使用して再構築されます。私たちのソリューションの鍵は、アスリートのポーズと、特徴追跡で計算された相対的なバックグラウンドモーションの調整との共同最適化におけるパンチルトカメラの回転推定です。さらに、既存の欠点を克服するために、新しいアルペンスキーデータセットを作成し、2Dポーズラベルで注釈を付けました。この方法は、画像のみから正確なグローバル3Dポーズを推定し、コーチにアスリートのパフォーマンスを測定および改善するための自動かつ高速なツールを提供します。
In sports, such as alpine skiing, coaches would like to know the speed and various biomechanical variables of their athletes and competitors. Existing methods use either body-worn sensors, which are cumbersome to setup, or manual image annotation, which is time consuming. We propose a method for estimating an athlete's global 3D position and articulated pose using multiple cameras. By contrast to classical markerless motion capture solutions, we allow cameras to rotate freely so that large capture volumes can be covered. In a first step, tight crops around the skier are predicted and fed to a 2D pose estimator network. The 3D pose is then reconstructed using a bundle adjustment method. Key to our solution is the rotation estimation of Pan-Tilt cameras in a joint optimization with the athlete pose and conditioning on relative background motion computed with feature tracking. Furthermore, we created a new alpine skiing dataset and annotated it with 2D pose labels, to overcome shortcomings of existing ones. Our method estimates accurate global 3D poses from images only and provides coaches with an automatic and fast tool for measuring and improving an athlete's performance.