arXiv reaDer
リアルタイムで低コストの複数人の 3D 姿勢推定
Real-time, low-cost multi-person 3D pose estimation
コンピュータ ビジョンで人間の解剖学的構造を追跡するプロセスは姿勢推定と呼ばれ、ゲームから監視に至るまでの分野で使用されています。従来、3 次元姿勢推定には、深度画像を生成するために、リンクされた複数の強度カメラや高解像度飛行時間型カメラなどの高度な機器が必要でした。しかし、使用可能な技術のサイズ、消費電力、重量、およびコストに重大な制約が課せられる消費者電子機器などのアプリケーションがあります。ここでは、計算イメージング法が正確な姿勢推定を達成し、はるかに単純なタスク用に設計された飛行時間センサーの明らかな制限を克服できることを示します。私たちが使用するセンサーは、消費者向けのモバイル デバイスにすでに広く組み込まれています。空間解像度が 4×4 ピクセルと低いにもかかわらず、私たちが提案する Pixels2Pose システムは、そのデータを正確な深度マップと遠く離れた複数の人物の 3D ポーズ データに変換します。センサーから 3 m。 32×32 の解像度で深度マップを生成し、7 fps のフレーム レートで約 10 cm の誤差で体の部位の 3D ローカリゼーションを生成できます。この作業により、高度なハードウェア要件と飛行時間テクノロジのコストによって以前は制限されていたシナリオで、有望な実際のアプリケーションが開かれます。
The process of tracking human anatomy in computer vision is referred to pose estimation, and it is used in fields ranging from gaming to surveillance. Three-dimensional pose estimation traditionally requires advanced equipment, such as multiple linked intensity cameras or high-resolution time-of-flight cameras to produce depth images. However, there are applications, e.g.~consumer electronics, where significant constraints are placed on the size, power consumption, weight and cost of the usable technology. Here, we demonstrate that computational imaging methods can achieve accurate pose estimation and overcome the apparent limitations of time-of-flight sensors designed for much simpler tasks. The sensor we use is already widely integrated in consumer-grade mobile devices, and despite its low spatial resolution, only 4×4 pixels, our proposed Pixels2Pose system transforms its data into accurate depth maps and 3D pose data of multiple people up to a distance of 3 m from the sensor. We are able to generate depth maps at a resolution of 32×32 and 3D localization of a body parts with an error of only ≈10 cm at a frame rate of 7 fps. This work opens up promising real-life applications in scenarios that were previously restricted by the advanced hardware requirements and cost of time-of-flight technology.
updated: Wed Aug 24 2022 14:57:58 GMT+0000 (UTC)
published: Mon Oct 11 2021 12:42:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト