この論文では、ロバストな視覚オドメトリ(VO)の本質的な問題に、幾何学ベースの方法を自己監視方式で深層学習アーキテクチャに組み込むことによってアプローチします。一般に、純粋な幾何学ベースのアルゴリズムは、特徴点の抽出とマッチングにおける深層学習ほど堅牢ではありませんが、確立された幾何学理論のため、自我運動の推定ではうまく機能します。この作業では、位置認識メカニズムに基づいて構築された新しいオプティカルフローネットワーク(PANet)が最初に提案されます。次に、エゴモーションを学習するための典型的なネットワークなしで、深度、オプティカルフロー、およびエゴモーションを共同で推定する新しいシステムが提案されます。提案されたシステムの重要なコンポーネントは、複数のサンプリング、エゴモーションの初期化、動的減衰係数調整、およびヤコビ行列の重み付けを含む改善されたバンドル調整モジュールです。さらに、深度推定の精度を向上させるために、新しい相対測光損失関数が進化しています。実験は、提案されたシステムが、KITTIデータセットの自己監視学習ベースの方法の中で、深さ、流れ、およびVO推定の点で他の最先端の方法よりも優れているだけでなく、ジオメトリと比較して堅牢性を大幅に改善することを示しています。ベース、学習ベース、ハイブリッドVOシステム。さらなる実験は、私たちのモデルが挑戦的な屋内(TMU-RGBD)と屋外(KAIST)のシーンで卓越した一般化能力とパフォーマンスを達成することを示しています。
In this paper, an essential problem of robust visual odometry (VO) is approached by incorporating geometry-based methods into deep-learning architecture in a self-supervised manner. Generally, pure geometry-based algorithms are not as robust as deep learning in feature-point extraction and matching, but perform well in ego-motion estimation because of their well-established geometric theory. In this work, a novel optical flow network (PANet) built on a position-aware mechanism is proposed first. Then, a novel system that jointly estimates depth, optical flow, and ego-motion without a typical network to learning ego-motion is proposed. The key component of the proposed system is an improved bundle adjustment module containing multiple sampling, initialization of ego-motion, dynamic damping factor adjustment, and Jacobi matrix weighting. In addition, a novel relative photometric loss function is advanced to improve the depth estimation accuracy. The experiments show that the proposed system not only outperforms other state-of-the-art methods in terms of depth, flow, and VO estimation among self-supervised learning-based methods on KITTI dataset, but also significantly improves robustness compared with geometry-based, learning-based and hybrid VO systems. Further experiments show that our model achieves outstanding generalization ability and performance in challenging indoor (TMU-RGBD) and outdoor (KAIST) scenes.