事前の 3D 再構成を含むカメラの再定位は、多くの複合現実およびロボット工学アプリケーションで重要な役割を果たします。事前に構築された 3D モデルに関してカメラの姿勢を直接推定すると、ストレージや通信帯域幅が限られているいくつかのアプリケーションでは法外なコストがかかる可能性があります。最近のシーンおよび絶対姿勢回帰法は、効率的なカメラ位置特定のために一般的になっていますが、それらのほとんどは計算リソース集約的であり、高精度の制約でリアルタイムの推論を取得することは困難です。この研究では、シーン座標をマッピングして正確なカメラ姿勢推定を実現するために多層パーセプトロン ネットワークのみを必要とする単純なシーン回帰法を提案します。提案されたアプローチでは、高密度の RGB イメージの代わりに、疎な記述子を使用してシーン座標を回帰します。スパース フィーチャを使用すると、いくつかの利点が得られます。まず、提案された回帰ネットワークは、以前の研究で報告されたものよりも大幅に小さいです。これにより、当社のシステムは非常に効率的でスケーラブルになります。第 2 に、事前に構築された 3D モデルは、最も信頼性が高く堅牢な 2D と 3D の一致を提供します。したがって、それらから学習すると、同等の機能の認識につながり、一般化のパフォーマンスが大幅に向上します。提案された方法をサポートするために、既存のデータセットを使用したアプローチの詳細な分析と広範な評価が提供されます。実装の詳細は、https://github.com/aislab/feat2map で入手できます。
Camera relocalization involving a prior 3D reconstruction plays a crucial role in many mixed reality and robotics applications. Estimating the camera pose directly with respect to pre-built 3D models can be prohibitively expensive for several applications with limited storage and/or communication bandwidth. Although recent scene and absolute pose regression methods have become popular for efficient camera localization, most of them are computation-resource intensive and difficult to obtain a real-time inference with high accuracy constraints. This study proposes a simple scene regression method that requires only a multi-layer perceptron network for mapping scene coordinates to achieve accurate camera pose estimations. The proposed approach uses sparse descriptors to regress the scene coordinates, instead of a dense RGB image. The use of sparse features provides several advantages. First, the proposed regressor network is substantially smaller than those reported in previous studies. This makes our system highly efficient and scalable. Second, the pre-built 3D models provide the most reliable and robust 2D-3D matches. Therefore, learning from them can lead to an awareness of equivalent features and substantially improve the generalization performance. A detailed analysis of our approach and extensive evaluations using existing datasets are provided to support the proposed method. The implementation detail is available at https://github.com/aislab/feat2map