arXiv reaDer
SeasonDepth: Cross-Season Monocular Depth Prediction Dataset and Benchmark under Multiple Environments
さまざまな環境は、長期的な自動運転のための屋外の堅牢な視覚に大きな課題をもたらし、さまざまな環境効果に関する学習ベースのアルゴリズムの一般化は、依然として未解決の問題です。単眼深度予測は最近よく研究されていますが、そのような複数環境の実世界のデータセットとベンチマークがないため、照明や季節の変更など、さまざまな環境にわたる堅牢な学習ベースの深度予測に焦点を当てた作業はほとんどありません。 。この目的のために、最初のクロスシーズン単眼深度予測データセットとベンチマークSeasonDepth(で入手可能)は、CMU VisualLocalizationデータセットに基づいて構築されています。さまざまな環境下での深度推定パフォーマンスをベンチマークするために、いくつかの新しく定式化されたメトリックを使用して、KITTIベンチマークからの代表的および最近の最先端のオープンソース監視あり、自己監視あり、ドメイン適応深度予測方法を調査します。提案されたデータセットに対する広範な実験的評価を通じて、パフォーマンスとロバスト性に対する複数の環境の影響が定性的および定量的に分析され、長期的な単眼深度予測は微調整を行っても解決にはほど遠いことが示されています。さらに、自己監視型トレーニングとステレオジオメトリ制約が、変化する環境に対する堅牢性を強化するのに役立つという有望な手段を提供します。
Different environments pose a great challenge on the outdoor robust visual perception for long-term autonomous driving and the generalization of learning-based algorithms on different environmental effects is still an open problem. Although monocular depth prediction has been well studied recently, there is few work focusing on the robust learning-based depth prediction across different environments, e.g., changing illumination and seasons, owing to the lack of such a multi-environment real-world dataset and benchmark. To this end, the first cross-season monocular depth prediction dataset and benchmark SeasonDepth (available on is built based on CMU Visual Localization dataset. To benchmark the depth estimation performance under different environments, we investigate representative and recent state-of-the-art open-source supervised, self-supervised and domain adaptation depth prediction methods from KITTI benchmark using several newly-formulated metrics. Through extensive experimental evaluation on the proposed dataset, the influence of multiple environments on performance and robustness is analyzed both qualitatively and quantitatively, showing that the long-term monocular depth prediction is far from solved even with fine-tuning. We further give promising avenues that self-supervised training and stereo geometry constraint help to enhance the robustness to changing environments.
updated: Wed Jul 14 2021 09:31:15 GMT+0000 (UTC)
published: Mon Nov 09 2020 13:24:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト