arXiv reaDer
3D 人間の姿勢推定のためのプロアクティブなマルチカメラ コラボレーション
Proactive Multi-Camera Collaboration For 3D Human Pose Estimation
この論文では、動的な人間の群集における 3D 人間の姿勢推定におけるプロアクティブなマルチカメラ コラボレーションのためのマルチエージェント強化学習 (MARL) スキームを紹介します。ヒューマン モーション キャプチャ (MoCap) 用の従来の固定視点マルチカメラ ソリューションは、キャプチャ スペースが限られており、動的オクルージョンの影響を受けやすくなっています。アクティブ カメラ アプローチは、カメラのポーズを事前に制御して、3D 再構成に最適な視点を見つけます。ただし、現在の方法は、クレジットの割り当てと環境のダイナミクスに関する課題に直面しています。これらの問題に対処するために、提案された方法は、収束を改善し、共有報酬として3D再構成精度を使用することから生じるマルチエージェントクレジット割り当ての問題を軽減する、新しいCollaborative Triangulation Contribution Reward(CTCR)を導入します。さらに、複数の世界ダイナミクス学習タスクを使用してモデルを共同でトレーニングし、環境ダイナミクスをより適切にキャプチャして、オクルージョン回避のための予測行動を促進します。妥当性と一般化可能性を確保するために、4 つの写実的な UE4 環境で提案された方法を評価します。実験結果は、カメラと人間の数が異なるさまざまなシナリオで、固定ベースラインとアクティブ ベースラインよりも優れたパフォーマンスを発揮することを示しています。
This paper presents a multi-agent reinforcement learning (MARL) scheme for proactive Multi-Camera Collaboration in 3D Human Pose Estimation in dynamic human crowds. Traditional fixed-viewpoint multi-camera solutions for human motion capture (MoCap) are limited in capture space and susceptible to dynamic occlusions. Active camera approaches proactively control camera poses to find optimal viewpoints for 3D reconstruction. However, current methods still face challenges with credit assignment and environment dynamics. To address these issues, our proposed method introduces a novel Collaborative Triangulation Contribution Reward (CTCR) that improves convergence and alleviates multi-agent credit assignment issues resulting from using 3D reconstruction accuracy as the shared reward. Additionally, we jointly train our model with multiple world dynamics learning tasks to better capture environment dynamics and encourage anticipatory behaviors for occlusion avoidance. We evaluate our proposed method in four photo-realistic UE4 environments to ensure validity and generalizability. Empirical results show that our method outperforms fixed and active baselines in various scenarios with different numbers of cameras and humans.
updated: Tue Mar 07 2023 10:01:00 GMT+0000 (UTC)
published: Tue Mar 07 2023 10:01:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト