この論文では、DeepRelativeFusionという名前の高密度単眼SLAMシステムを提案します。これは、グローバルに一貫した3D構造を復元することができます。この目的のために、視覚的なSLAMアルゴリズムを使用して、キーフレームのカメラポーズと半密度深度マップを確実に復元し、相対深度予測を使用して、半高密度深度マップを高密度化し、キーフレームポーズグラフを改良します。半高密度深度マップを改善するために、適応フィルタリング方式を提案します。これは、隣接するピクセルのピクセル強度と深度を考慮した構造保存加重平均平滑化フィルターであり、高密度化で大幅な再構成精度の向上をもたらします。高密度化を実行するために、DeepFusionによって提案されたエネルギー最小化フレームワークに2つの段階的な改善を導入します。(1)改善されたコスト関数、および(2)単一画像の相対深度予測の使用です。高密度化後、2つのビューで一貫性のある最適化された半高密度および高密度の深度マップでキーフレームを更新して、ポーズグラフの最適化を改善し、フィードバックループを提供して、正確なシーン再構成のためにキーフレームポーズを調整します。私たちのシステムは、高密度再構成の精度において、最先端の高密度SLAMシステムを大幅に上回っています。
In this paper, we propose a dense monocular SLAM system, named DeepRelativeFusion, that is capable to recover a globally consistent 3D structure. To this end, we use a visual SLAM algorithm to reliably recover the camera poses and semi-dense depth maps of the keyframes, and then use relative depth prediction to densify the semi-dense depth maps and refine the keyframe pose-graph. To improve the semi-dense depth maps, we propose an adaptive filtering scheme, which is a structure-preserving weighted average smoothing filter that takes into account the pixel intensity and depth of the neighbouring pixels, yielding substantial reconstruction accuracy gain in densification. To perform densification, we introduce two incremental improvements upon the energy minimization framework proposed by DeepFusion: (1) an improved cost function, and (2) the use of single-image relative depth prediction. After densification, we update the keyframes with two-view consistent optimized semi-dense and dense depth maps to improve pose-graph optimization, providing a feedback loop to refine the keyframe poses for accurate scene reconstruction. Our system outperforms the state-of-the-art dense SLAM systems quantitatively in dense reconstruction accuracy by a large margin.