arXiv reaDer
Visual Odometry Revisited: What Should Be Learnt?
 この作業では、ジオメトリベースの方法と深層学習を活用する単眼視覚走行距離(VO)アルゴリズムを紹介します。優れたパフォーマンスを備えた既存のほとんどのVO / SLAMシステムはジオメトリに基づいており、さまざまなアプリケーションシナリオに合わせて慎重に設計する必要があります。さらに、ほとんどの単眼システムはスケールドリフトの問題に悩まされています。最近の深層学習では、VOをエンドツーエンドで学習するものもありますが、これらの深層システムのパフォーマンスは、ジオメトリベースの方法とはまだ比較できません。この作業では、VOの基礎を再検討し、ディープラーニングとエピポーラジオメトリおよびPerspective-n-Point(PnP)メソッドを統合するための正しい方法を探ります。具体的には、中間ビュー出力としてシングルビュー深度と2ビューオプティカルフローを推定するために、2つの畳み込みニューラルネットワーク(CNN)をトレーニングします。深層予測を使用して、単純で堅牢なフレーム間VOアルゴリズム(DF-VO)を設計します。これは、純粋な深層学習ベースおよびジオメトリベースの方法よりも優れています。さらに重要なことは、私たちのシステムは、スケールが一貫した単一ビュー深度CNNによって支援されるスケールドリフトの問題に悩まされないことです。 KITTIデータセットの広範な実験は、システムの堅牢性を示し、詳細なアブレーション研究は、システムのさまざまな要因の影響を示しています。
In this work we present a monocular visual odometry (VO) algorithm which leverages geometry-based methods and deep learning. Most existing VO/SLAM systems with superior performance are based on geometry and have to be carefully designed for different application scenarios. Moreover, most monocular systems suffer from scale-drift issue.Some recent deep learning works learn VO in an end-to-end manner but the performance of these deep systems is still not comparable to geometry-based methods. In this work, we revisit the basics of VO and explore the right way for integrating deep learning with epipolar geometry and Perspective-n-Point (PnP) method. Specifically, we train two convolutional neural networks (CNNs) for estimating single-view depths and two-view optical flows as intermediate outputs. With the deep predictions, we design a simple but robust frame-to-frame VO algorithm (DF-VO) which outperforms pure deep learning-based and geometry-based methods. More importantly, our system does not suffer from the scale-drift issue being aided by a scale consistent single-view depth CNN. Extensive experiments on KITTI dataset shows the robustness of our system and a detailed ablation study shows the effect of different factors in our system.
updated: Tue Feb 18 2020 02:32:35 GMT+0000 (UTC)
published: Sat Sep 21 2019 10:00:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト