正確で堅牢なローカリゼーションは、モバイル エージェントの基本的なニーズです。 Visual-inertial odometry (VIO) アルゴリズムは、カメラと慣性センサーからの情報を利用して、位置と移動を推定します。最近の深層学習ベースの VIO モデルは、手作業でアルゴリズムを設計する必要がなく、データ駆動型の方法でポーズ情報を提供するため、注目を集めています。既存の学習ベースの VIO モデルは、反復モデルに依存してマルチモーダル データを融合し、センサー信号を処理しますが、これはトレーニングが難しく、十分に効率的ではありません。状態推定のために視覚的機能と慣性機能を効果的かつ効率的に組み合わせる、外部メモリの注意を伴う新しい学習ベースの VIO フレームワークを提案します。提案されたモデルは、従来の VIO アルゴリズムでは視覚的特徴を抽出することが困難な、困難なシナリオ (曇りの日や水で満たされた地面など) でも、ポーズを正確かつロバストに推定できます。実験では、さまざまなシーンで、従来の VIO ベースラインと学習ベースの VIO ベースラインの両方よりも優れていることが検証されています。
Accurate and robust localization is a fundamental need for mobile agents. Visual-inertial odometry (VIO) algorithms exploit the information from camera and inertial sensors to estimate position and translation. Recent deep learning based VIO models attract attentions as they provide pose information in a data-driven way, without the need of designing hand-crafted algorithms. Existing learning based VIO models rely on recurrent models to fuse multimodal data and process sensor signal, which are hard to train and not efficient enough. We propose a novel learning based VIO framework with external memory attention that effectively and efficiently combines visual and inertial features for states estimation. Our proposed model is able to estimate pose accurately and robustly, even in challenging scenarios, e.g., on overcast days and water-filled ground , which are difficult for traditional VIO algorithms to extract visual features. Experiments validate that it outperforms both traditional and learning based VIO baselines in different scenes.