拡張現実と仮想現実のほとんどのパイプラインは、まばらな3Dランドマークのマップを作成することにより、カメラのエゴモーションを推定します。この論文では、深度補完の問題、つまり、RGB画像をガイダンスとして使用してこのまばらな3Dマップを高密度化する問題に取り組みます。これは、SfMおよびSLAMパイプラインによって生成される低密度、不均一、外れ値が発生しやすい3Dランドマークのため、依然として困難な問題です。 3Dランドマークと深い視覚的特徴を融合させて緻密な奥行きを生み出すトランスフォーマーブロックSparseFormerを紹介します。 SparseFormerにはグローバルな受容野があり、モジュールは低密度で不均一なランドマークを使用した深度の完了に特に効果的です。 3Dランドマーク間の深さの外れ値の問題に対処するために、疎なランドマーク間の注意によって外れ値をフィルタリングするトレーニング可能な改良モジュールを導入します。
Most pipelines for Augmented and Virtual Reality estimate the ego-motion of the camera by creating a map of sparse 3D landmarks. In this paper, we tackle the problem of depth completion, that is, densifying this sparse 3D map using RGB images as guidance. This remains a challenging problem due to the low density, non-uniform and outlier-prone 3D landmarks produced by SfM and SLAM pipelines. We introduce a transformer block, SparseFormer, that fuses 3D landmarks with deep visual features to produce dense depth. The SparseFormer has a global receptive field, making the module especially effective for depth completion with low-density and non-uniform landmarks. To address the issue of depth outliers among the 3D landmarks, we introduce a trainable refinement module that filters outliers through attention between the sparse landmarks.