RGB 画像からの高密度 3D 再構成は、従来、静的なカメラの姿勢推定を前提としていました。最近の研究ではモバイル デバイスのリアルタイム手法にますます重点が置かれているにもかかわらず、この想定は維持されています。ただし、各画像のポーズが固定されているという仮定は、オンライン実行には当てはまりません。リアルタイム SLAM からのポーズは動的であり、バンドル調整やループ クロージャなどのイベント後に更新される可能性があります。この問題は、RGB-D 設定では過去のビューを統合解除し、更新されたポーズで再統合することで対処されていますが、RGB のみの設定ではほとんど処理されていないままです。この問題を形式化して、動的に配置された画像からの高密度オンライン再構成という新しいタスクを定義します。さらなる研究をサポートするために、ScanNet 上で実行されている SLAM システムからの動的ポーズを含む LivePose と呼ばれるデータセットを導入します。最近の 3 つの再構築システムを選択し、非統合に基づくフレームワークを適用して、それぞれを動的ポーズ設定に適応させます。さらに、古いシーン コンテンツを削除することを学習する、新しい非線形統合解除モジュールを提案します。私たちは、ポーズの更新に応答することが高品質の再構成にとって重要であること、そして私たちの非統合フレームワークが効果的な解決策であることを示します。
Dense 3D reconstruction from RGB images traditionally assumes static camera pose estimates. This assumption has endured, even as recent works have increasingly focused on real-time methods for mobile devices. However, the assumption of a fixed pose for each image does not hold for online execution: poses from real-time SLAM are dynamic and may be updated following events such as bundle adjustment and loop closure. This has been addressed in the RGB-D setting, by de-integrating past views and re-integrating them with updated poses, but it remains largely untreated in the RGB-only setting. We formalize this problem to define the new task of dense online reconstruction from dynamically-posed images. To support further research, we introduce a dataset called LivePose containing the dynamic poses from a SLAM system running on ScanNet. We select three recent reconstruction systems and apply a framework based on de-integration to adapt each one to the dynamic-pose setting. In addition, we propose a novel, non-linear de-integration module that learns to remove stale scene content. We show that responding to pose updates is critical for high-quality reconstruction, and that our de-integration framework is an effective solution.