近年、視覚オドメトリ(VIO)の深層学習ベースのアプローチは、従来の幾何学的手法を上回る優れたパフォーマンスを示しています。それでも、既存のすべての方法は、潜在的な計算の冗長性を招くすべてのポーズ推定に視覚的測定と慣性測定の両方を使用します。視覚的なデータ処理は慣性計測装置(IMU)よりもはるかに高価ですが、ポーズ推定の精度の向上に必ずしも貢献するとは限りません。本論文では、視覚モダリティを日和見的に無効にすることにより計算の冗長性を低減する適応型深層学習ベースのVIO手法を提案します。具体的には、現在のモーション状態とIMUの読み取り値に基づいて、視覚的特徴抽出器をオンザフライで非アクティブ化することを学習するポリシーネットワークをトレーニングします。 Gumbel-Softmaxトリックを採用して、ポリシーネットワークをトレーニングし、意思決定プロセスをエンドツーエンドのシステムトレーニングで差別化できるようにします。学習した戦略は解釈可能であり、適応型の複雑さを軽減するためのシナリオ依存の決定パターンを示しています。実験結果は、私たちの方法が、KITTIデータセット評価の計算の複雑さを最大78.8%削減し、フルモダリティベースラインと同等またはそれ以上のパフォーマンスを達成することを示しています。私たちのコードはhttps://github.com/mingyuyng/Visual-Selective-VIOで共有されます
In recent years, deep learning-based approaches for visual-inertial odometry (VIO) have shown remarkable performance outperforming traditional geometric methods. Yet, all existing methods use both the visual and inertial measurements for every pose estimation incurring potential computational redundancy. While visual data processing is much more expensive than that for the inertial measurement unit (IMU), it may not always contribute to improving the pose estimation accuracy. In this paper, we propose an adaptive deep-learning based VIO method that reduces computational redundancy by opportunistically disabling the visual modality. Specifically, we train a policy network that learns to deactivate the visual feature extractor on the fly based on the current motion state and IMU readings. A Gumbel-Softmax trick is adopted to train the policy network to make the decision process differentiable for end-to-end system training. The learned strategy is interpretable, and it shows scenario-dependent decision patterns for adaptive complexity reduction. Experiment results show that our method achieves a similar or even better performance than the full-modality baseline with up to 78.8% computational complexity reduction for KITTI dataset evaluation. Our code will be shared in https://github.com/mingyuyng/Visual-Selective-VIO