arXiv reaDer
レーダーは深度推定モデルにどれだけの深度情報を提供できますか?
How Much Depth Information can Radar Contribute to a Depth Estimation Model?
最近、いくつかの研究で、レーダー データを追加の知覚信号として単眼深度推定モデルに融合することが提案されています。これは、レーダー データがさまざまな光や気象条件に対して堅牢であるためです。以前の研究ではパフォーマンスの向上が報告されていましたが、深度情報レーダーが深度推定モデルにどれだけ貢献できるかを判断することはまだ困難です。この論文では、nuScenes データセットで最先端の深度推定モデルを使用して、レーダー データの固有深度の可能性を調査するためのレーダー推論と監視実験を提案します。推論実験では、モデルはレーダーのみを入力として深度を予測し、レーダー データを使用した推論機能を実証します。監視実験では、単眼深度推定モデルがレーダー監視下でトレーニングされ、レーダーが寄与できる固有の深度情報が示されます。私たちの実験では、まばらなレーダーのみを入力として使用するモデルが、予測された深度内で周囲の形状をある程度検出できることを示しています。さらに、前処理されたレーダーによって監視された単眼深度推定モデルは、スパース LIDAR 監視によってトレーニングされたベースライン モデルと比較して、優れたパフォーマンスを達成します。
Recently, several works have proposed fusing radar data as an additional perceptual signal into monocular depth estimation models because radar data is robust against varying light and weather conditions. Although improved performances were reported in prior works, it is still hard to tell how much depth information radar can contribute to a depth estimation model. In this paper, we propose radar inference and supervision experiments to investigate the intrinsic depth potential of radar data using state-of-the-art depth estimation models on the nuScenes dataset. In the inference experiment, the model predicts depth by taking only radar as input to demonstrate the inference capability using radar data. In the supervision experiment, a monocular depth estimation model is trained under radar supervision to show the intrinsic depth information that radar can contribute. Our experiments demonstrate that the model using only sparse radar as input can detect the shape of surroundings to a certain extent in the predicted depth. Furthermore, the monocular depth estimation model supervised by preprocessed radar achieves a good performance compared to the baseline model trained with sparse lidar supervision.
updated: Wed Mar 15 2023 10:26:32 GMT+0000 (UTC)
published: Sat Feb 26 2022 20:02:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト