深い状態空間モデルでの近似ベイズ推定として、空間環境での6-DoFローカリゼーションと3D高密度再構成の問題を解決します。私たちのアプローチは、マルチビュージオメトリと剛体力学からの学習とドメイン知識の両方を活用します。これにより、世界の表現力豊かな予測モデルが得られますが、現在の最先端のビジュアルSLAMソリューションには見落とされがちです。変分推論、ニューラルネットワーク、および微分可能なレイキャスターの組み合わせにより、モデルがエンドツーエンドの勾配ベースの最適化に適していることが保証されます。最先端の視覚的慣性オドメトリシステムの性能に近づき、現実的な無人航空機の飛行データに対するアプローチを評価します。モデルの生成的予測と計画への適用可能性を示します。
We solve the problem of 6-DoF localisation and 3D dense reconstruction in spatial environments as approximate Bayesian inference in a deep state-space model. Our approach leverages both learning and domain knowledge from multiple-view geometry and rigid-body dynamics. This results in an expressive predictive model of the world, often missing in current state-of-the-art visual SLAM solutions. The combination of variational inference, neural networks and a differentiable raycaster ensures that our model is amenable to end-to-end gradient-based optimisation. We evaluate our approach on realistic unmanned aerial vehicle flight data, nearing the performance of state-of-the-art visual-inertial odometry systems. We demonstrate the applicability of the model to generative prediction and planning.