arXiv reaDer
自動運転における幾何学的事前分布を使用した視覚的注意に基づく自己監視絶対深度推定
Visual Attention-based Self-supervised Absolute Depth Estimation using Geometric Priors in Autonomous Driving
既存の単眼深度推定方法は大きな進歩を遂げましたが、ネットワークのモデリング能力が限られていることとスケールのあいまいさの問題により、単一の画像から正確な絶対深度マップを予測することは依然として困難です。この論文では、空間的注意とチャネル注意がすべての段階に適用される、完全に視覚的注意に基づく深さ(VADepth)ネットワークを紹介します。 VADepthネットワークは、長距離にわたって空間次元とチャネル次元に沿って特徴の依存関係を継続的に抽出することにより、重要な詳細を効果的に保存し、干渉する特徴を抑制して、シーン構造をより正確に認識し、より正確な深度推定を行うことができます。さらに、幾何学的事前分布を利用して、スケール認識モデルトレーニングのスケール制約を形成します。具体的には、カメラと、画像の中央下にある長方形の領域のピクセルに対応する地面の点がフィットする平面との間の距離を使用して、新しいスケール認識損失を構築します。 KITTIデータセットの実験結果は、このアーキテクチャが最先端のパフォーマンスを実現し、私たちの方法が後処理なしで絶対深度を直接出力できることを示しています。さらに、SeasonDepthデータセットでの実験は、複数の見えない環境に対するモデルの堅牢性も示しています。
Although existing monocular depth estimation methods have made great progress, predicting an accurate absolute depth map from a single image is still challenging due to the limited modeling capacity of networks and the scale ambiguity issue. In this paper, we introduce a fully Visual Attention-based Depth (VADepth) network, where spatial attention and channel attention are applied to all stages. By continuously extracting the dependencies of features along the spatial and channel dimensions over a long distance, VADepth network can effectively preserve important details and suppress interfering features to better perceive the scene structure for more accurate depth estimates. In addition, we utilize geometric priors to form scale constraints for scale-aware model training. Specifically, we construct a novel scale-aware loss using the distance between the camera and a plane fitted by the ground points corresponding to the pixels of the rectangular area in the bottom middle of the image. Experimental results on the KITTI dataset show that this architecture achieves the state-of-the-art performance and our method can directly output absolute depth without post-processing. Moreover, our experiments on the SeasonDepth dataset also demonstrate the robustness of our model to multiple unseen environments.
updated: Thu Oct 06 2022 04:08:31 GMT+0000 (UTC)
published: Wed May 18 2022 08:01:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト