近年、教師なし深層学習アプローチは、ラベルのない単眼画像シーケンスから深度と視覚オドメトリ(VO)を推定するために大きな注目を集めています。ただし、知覚の低下、オクルージョン、急速な動きのため、困難な環境ではパフォーマンスが制限されます。さらに、既存の教師なし手法では、フレーム間でスケールの一貫性の制約がないため、VO推定器は長いシーケンスにわたって永続的な軌道を提供できません。この研究では、ラベルのないRGB画像シーケンスから6自由度のポーズカメラの動きとシーンの深度マップを予測する教師なし単眼ディープVOフレームワークを提案します。提案されたフレームワークの詳細な定量的および定性的評価を以下に提供します。a)DARPA地下チャレンジ中に収集されたチャレンジングなデータセット。 b)ベンチマークKITTIおよびCityscapesデータセット。提案されたアプローチは、従来の教師なしディープVO手法よりも優れており、ポーズ推定と深度回復の両方でより良い結果を提供します。提示されたアプローチは、DARPA SubterraneanChallengeに参加しているCOSTARチームが使用するソリューションの一部です。
In recent years, unsupervised deep learning approaches have received significant attention to estimate the depth and visual odometry (VO) from unlabelled monocular image sequences. However, their performance is limited in challenging environments due to perceptual degradation, occlusions and rapid motions. Moreover, the existing unsupervised methods suffer from the lack of scale-consistency constraints across frames, which causes that the VO estimators fail to provide persistent trajectories over long sequences. In this study, we propose an unsupervised monocular deep VO framework that predicts six-degrees-of-freedom pose camera motion and depth map of the scene from unlabelled RGB image sequences. We provide detailed quantitative and qualitative evaluations of the proposed framework on a) a challenging dataset collected during the DARPA Subterranean challenge; and b) the benchmark KITTI and Cityscapes datasets. The proposed approach outperforms both traditional and state-of-the-art unsupervised deep VO methods providing better results for both pose estimation and depth recovery. The presented approach is part of the solution used by the COSTAR team participating at the DARPA Subterranean Challenge.