空中車両は、スポーツ、医療、エンターテインメントなど、野生の動的ターゲットの3D構造をキャプチャする必要があるアプリケーションに革命をもたらしています。屋外環境で動作するモーションキャプチャシステムを開発する際の主要な課題は、(1)3D推論ではターゲットの複数の同時視点が必要、(2)移動するターゲットを追跡するときに障害物によって引き起こされる閉塞が頻繁に発生する、(3)カメラです。車両の状態推定はノイズが多いです。専用マーカーを使用せずに自然環境で人間の動きを再構築できるマルチカメラ制御用のリアルタイム空中システムを紹介します。障害物の中でターゲットの再構築品質に最適な飛行形成を維持するマルチロボット調整スキームを開発します。シミュレーションでシステムのパフォーマンスを評価する研究を提供し、ターゲットがジョギングやサッカーなどのアクティビティを実行している間に、2台のドローンを使用して実際のパフォーマンスを検証します。補足ビデオ:https://youtu.be/jxt91vx0cns
Aerial vehicles are revolutionizing applications that require capturing the 3D structure of dynamic targets in the wild, such as sports, medicine, and entertainment. The core challenges in developing a motion-capture system that operates in outdoors environments are: (1) 3D inference requires multiple simultaneous viewpoints of the target, (2) occlusion caused by obstacles is frequent when tracking moving targets, and (3) the camera and vehicle state estimation is noisy. We present a real-time aerial system for multi-camera control that can reconstruct human motions in natural environments without the use of special-purpose markers. We develop a multi-robot coordination scheme that maintains the optimal flight formation for target reconstruction quality amongst obstacles. We provide studies evaluating system performance in simulation, and validate real-world performance using two drones while a target performs activities such as jogging and playing soccer. Supplementary video: https://youtu.be/jxt91vx0cns