動的オブジェクトの3D再構成に適した、複数の移動するハンドヘルドモバイルからほぼ同期したフレームストリームをキャプチャするシステムを提案します。各モバイルは、オンボードで同時ローカリゼーションとマッピングを実行してポーズを推定し、ワイヤレス通信チャネルを使用して同期トリガーを送受信します。私たちのシステムは、分散型トリガー戦略と、エッジまたはクラウドのいずれかに展開できるデータリレーアーキテクチャを使用して、フレームとモバイルポーズをリアルタイムで収集できます。 3Dスケルトンおよびボリューム再構成に使用することにより、システムの有効性を示します。当社のトリガー戦略は、NTPベースの同期アプローチと同等のパフォーマンスを実現しますが、アプリケーションのニーズに基づいてオンラインで調整できるため、より高い柔軟性を提供します。私たちは挑戦的な新しいデータセット、つまり4DMを作成しました。これには、屋外でスポーツアクションを実行する俳優を記録する6つのハンドヘルド拡張現実モバイルが含まれます。 4DMでシステムを検証し、その長所と制限を分析し、そのモジュールを代替モジュールと比較します。
We propose a system to capture nearly-synchronous frame streams from multiple and moving handheld mobiles that is suitable for dynamic object 3D reconstruction. Each mobile executes Simultaneous Localisation and Mapping on-board to estimate its pose, and uses a wireless communication channel to send or receive synchronisation triggers. Our system can harvest frames and mobile poses in real time using a decentralised triggering strategy and a data-relay architecture that can be deployed either at the Edge or in the Cloud. We show the effectiveness of our system by employing it for 3D skeleton and volumetric reconstructions. Our triggering strategy achieves equal performance to that of an NTP-based synchronisation approach, but offers higher flexibility, as it can be adjusted online based on application needs. We created a challenging new dataset, namely 4DM, that involves six handheld augmented reality mobiles recording an actor performing sports actions outdoors. We validate our system on 4DM, analyse its strengths and limitations, and compare its modules with alternative ones.