自動運転への関心の高まりとともに、車載カメラで撮影した画像シーケンスを解析することで、移動物体の位置や向きを推定するビジュアルオドメトリ(VO)の技術が研究されています。この論文では、ディープラーニング(DL)の観点から単眼VOを研究します。現在のほとんどの学習ベースの方法とは異なり、DeepAVOと呼ばれる私たちのアプローチは、機能がさまざまなモーションパターンに差別的に寄与するという直感に基づいて確立されています。具体的には、畳み込みニューラルネットワーク(CNN)を活用してオプティカルフロー入力のさまざまな象限に焦点を当てることにより、回転と平行移動を学習するための新しい4分岐ネットワークを紹介します。特徴選択の機能を強化するために、効果的なチャネル空間注意メカニズムをさらに導入して、各ブランチに特定のフレーム間(F2F)モーション推定の関連情報を明示的に抽出するように強制します。屋外運転と屋内歩行のシナリオを含むさまざまなデータセットでの実験は、提案されたDeepAVOが最先端の単眼法を大幅に上回っていることを示し、ステレオVOアルゴリズムに対する競争力のあるパフォーマンスを示し、一般化の有望な可能性を検証します。
The technology for Visual Odometry (VO) that estimates the position and orientation of the moving object through analyzing the image sequences captured by on-board cameras, has been well investigated with the rising interest in autonomous driving. This paper studies monocular VO from the perspective of Deep Learning (DL). Unlike most current learning-based methods, our approach, called DeepAVO, is established on the intuition that features contribute discriminately to different motion patterns. Specifically, we present a novel four-branch network to learn the rotation and translation by leveraging Convolutional Neural Networks (CNNs) to focus on different quadrants of optical flow input. To enhance the ability of feature selection, we further introduce an effective channel-spatial attention mechanism to force each branch to explicitly distill related information for specific Frame to Frame (F2F) motion estimation. Experiments on various datasets involving outdoor driving and indoor walking scenarios show that the proposed DeepAVO outperforms the state-of-the-art monocular methods by a large margin, demonstrating competitive performance to the stereo VO algorithm and verifying promising potential for generalization.