arXiv reaDer
CodeMapping: Real-Time Dense Mapping for Sparse SLAM using Compact Scene Representations
コンパクトなシーン表現を活用するスパースビジュアルSLAMシステム用の新しい高密度マッピングフレームワークを提案します。最先端のスパースビジュアルSLAMシステムは、カメラの軌跡とランドマークの位置の正確で信頼性の高い推定を提供します。これらのスパースマップはローカリゼーションには役立ちますが、障害物の回避やシーンの理解などの他のタスクには使用できません。この論文では、SLAMシステムによって生成されたカメラのポーズ、キーフレーム、およびスパースポイントを入力として受け取り、すべてのキーフレームの高密度深度画像を予測する、スパースビジュアルSLAMシステムを補完する高密度マッピングフレームワークを提案します。 CodeSLAMに基づいて構築し、強度、スパース深度、およびスパースSLAMからの再投影エラー画像を条件とする変分オートエンコーダー(VAE)を使用して、不確実性を意識した高密度深度マップを予測します。次に、VAEを使用すると、マルチビュー最適化によって高密度の深度画像を調整でき、重なり合うフレームの一貫性が向上します。私たちのマッパーは、緩く結合された方法でSLAMシステムと並行して別のスレッドで実行されます。この柔軟な設計により、メインのSLAMプロセスを遅らせることなく、任意のメトリックスパースSLAMシステムとの統合が可能になります。当社の高密度マッパーは、ローカルマッピングだけでなく、TSDFフュージョンによるグローバルに一貫した高密度3D再構成にも使用できます。 ORB-SLAM3で実行されているシステムのデモを行い、ロボット工学や拡張現実などのアプリケーションを可能にする正確な高密度深度推定を示します。
We propose a novel dense mapping framework for sparse visual SLAM systems which leverages a compact scene representation. State-of-the-art sparse visual SLAM systems provide accurate and reliable estimates of the camera trajectory and locations of landmarks. While these sparse maps are useful for localization, they cannot be used for other tasks such as obstacle avoidance or scene understanding. In this paper we propose a dense mapping framework to complement sparse visual SLAM systems which takes as input the camera poses, keyframes and sparse points produced by the SLAM system and predicts a dense depth image for every keyframe. We build on CodeSLAM and use a variational autoencoder (VAE) which is conditioned on intensity, sparse depth and reprojection error images from sparse SLAM to predict an uncertainty-aware dense depth map. The use of a VAE then enables us to refine the dense depth images through multi-view optimization which improves the consistency of overlapping frames. Our mapper runs in a separate thread in parallel to the SLAM system in a loosely coupled manner. This flexible design allows for integration with arbitrary metric sparse SLAM systems without delaying the main SLAM process. Our dense mapper can be used not only for local mapping but also globally consistent dense 3D reconstruction through TSDF fusion. We demonstrate our system running with ORB-SLAM3 and show accurate dense depth estimation which could enable applications such as robotics and augmented reality.
updated: Mon Jul 19 2021 16:13:18 GMT+0000 (UTC)
published: Mon Jul 19 2021 16:13:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト