arXiv reaDer
複数のカメラと AI によるマーカーレスの 3D 人間の姿勢追跡: 高精度、堅牢性、リアルタイム パフォーマンスを実現
Markerless 3D human pose tracking through multiple cameras and AI: Enabling high accuracy, robustness, and real-time performance
人間の 3D モーションをリアルタイムで追跡することは、多くの分野にわたる多数のアプリケーションにとって非常に重要です。従来のアプローチでは、人工の基準オブジェクトまたはセンサーを身体に取り付ける必要があり、その使いやすさと使い心地が制限され、その結果、アプリケーション フィールドが狭められていました。人工知能 (AI) の最近の進歩により、マーカーレス ソリューションが可能になりました。ただし、これらの方法のほとんどは 2D で動作しますが、3D ソリューションを提供する方法では精度とリアルタイム パフォーマンスが低下します。この課題に対処し、現実世界のシナリオで視覚的な姿勢推定方法の可能性を解き放つために、マルチカメラ ビューと 2D AI ベースの姿勢推定方法を組み合わせて 3D 人間の動きを追跡するマーカーレス フレームワークを提案します。私たちのアプローチは、AI 主導の方法によって提供される複数の 2D 姿勢推定から 3D 人間の動きを計算する加重最小二乗 (WLS) アルゴリズムを統合します。この方法は Open-VICO フレームワークに統合されており、シミュレーションと実世界での実行が可能です。いくつかの実験が行われ、高精度とリアルタイム パフォーマンスが示され、現実世界のアプリケーションに対する高いレベルの準備と、人間のモーション キャプチャに革命を起こす可能性が実証されました。
Tracking 3D human motion in real-time is crucial for numerous applications across many fields. Traditional approaches involve attaching artificial fiducial objects or sensors to the body, limiting their usability and comfort-of-use and consequently narrowing their application fields. Recent advances in Artificial Intelligence (AI) have allowed for markerless solutions. However, most of these methods operate in 2D, while those providing 3D solutions compromise accuracy and real-time performance. To address this challenge and unlock the potential of visual pose estimation methods in real-world scenarios, we propose a markerless framework that combines multi-camera views and 2D AI-based pose estimation methods to track 3D human motion. Our approach integrates a Weighted Least Square (WLS) algorithm that computes 3D human motion from multiple 2D pose estimations provided by an AI-driven method. The method is integrated within the Open-VICO framework allowing simulation and real-world execution. Several experiments have been conducted, which have shown high accuracy and real-time performance, demonstrating the high level of readiness for real-world applications and the potential to revolutionize human motion capture.
updated: Fri Mar 31 2023 15:06:50 GMT+0000 (UTC)
published: Fri Mar 31 2023 15:06:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト