arXiv reaDer
スパースマルチビューカメラを使用した軽量の複数人のトータルモーションキャプチャ
Lightweight Multi-person Total Motion Capture Using Sparse Multi-view Cameras
重度のオクルージョン、体から顔や手へのさまざまな再構成の粒度、大幅に変化する観察スケール、高速な体の動きを処理する場合、複数人のトータルモーションキャプチャは非常に困難です。上記のこれらの課題を克服するために、スパースマルチビューカメラのみを使用して、複数人のインタラクティブシナリオ向けの軽量のトータルモーションキャプチャシステムを提供します。新しい手と顔のブートストラップアルゴリズムを提供することにより、私たちの方法は、深刻な閉塞の場合でも、効率的な位置特定と手と顔の正確な関連付けが可能です。ポーズ回帰とキーポイント検出の両方の方法を活用し、さらに、ピクセル整列の精度を達成するための統合された2段階のパラメトリックフィッティング方法を提案します。さらに、非常に自己閉塞したポーズと密接な相互作用のために、ピクセル整列された再構成を次のフレームに伝播してより正確な関連付けを行うための新しいフィードバックメカニズムが提案されています。全体として、私たちは最初の軽量トータルキャプチャシステムを提案し、高速で堅牢かつ正確な複数人のトータルモーションキャプチャパフォーマンスを実現します。結果と実験は、私たちの方法がスパースビュー設定の下で既存の方法よりも正確な結果を達成することを示しています。
Multi-person total motion capture is extremely challenging when it comes to handle severe occlusions, different reconstruction granularities from body to face and hands, drastically changing observation scales and fast body movements. To overcome these challenges above, we contribute a lightweight total motion capture system for multi-person interactive scenarios using only sparse multi-view cameras. By contributing a novel hand and face bootstrapping algorithm, our method is capable of efficient localization and accurate association of the hands and faces even on severe occluded occasions. We leverage both pose regression and keypoints detection methods and further propose a unified two-stage parametric fitting method for achieving pixel-aligned accuracy. Moreover, for extremely self-occluded poses and close interactions, a novel feedback mechanism is proposed to propagate the pixel-aligned reconstructions into the next frame for more accurate association. Overall, we propose the first light-weight total capture system and achieves fast, robust and accurate multi-person total motion capture performance. The results and experiments show that our method achieves more accurate results than existing methods under sparse-view setups.
updated: Mon Aug 23 2021 19:23:35 GMT+0000 (UTC)
published: Mon Aug 23 2021 19:23:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト