運転シナリオでの自己監視単眼深度推定は、監視ありアプローチと同等のパフォーマンスを達成しましたが、静的な世界の仮定に違反すると、交通参加者の深度予測が誤って発生し、潜在的な安全上の問題が発生する可能性があります。この論文では、自己監視深度推定フレームワークの上にコスト効率の高いレーダーデータを使用するための新しい一連の手法であるR4Dynを紹介します。特に、トレーニング中にレーダーを弱い監視信号として使用する方法と、推論時の推定のロバスト性を強化するための追加の入力を示します。自動車用レーダーはすぐに利用できるため、これにより、さまざまな既存の車両からトレーニングデータを収集できます。さらに、信号をフィルタリングおよび拡張して学習ベースのアプローチと互換性を持たせることにより、ノイズやスパース性などのレーダー固有の問題に対処します。 R4Dynを使用すると、自己監視による深度推定の主な制限、つまりトラフィック参加者の予測を克服できます。挑戦的なnuScenesデータセットで自動車などの動的オブジェクトの推定を37%大幅に改善しました。したがって、レーダーが自動運転車の単眼深度推定のための貴重な追加センサーであることを示しています。さらに、コードを公開する予定です。
While self-supervised monocular depth estimation in driving scenarios has achieved comparable performance to supervised approaches, violations of the static world assumption can still lead to erroneous depth predictions of traffic participants, posing a potential safety issue. In this paper, we present R4Dyn, a novel set of techniques to use cost-efficient radar data on top of a self-supervised depth estimation framework. In particular, we show how radar can be used during training as weak supervision signal, as well as an extra input to enhance the estimation robustness at inference time. Since automotive radars are readily available, this allows to collect training data from a variety of existing vehicles. Moreover, by filtering and expanding the signal to make it compatible with learning-based approaches, we address radar inherent issues, such as noise and sparsity. With R4Dyn we are able to overcome a major limitation of self-supervised depth estimation, i.e. the prediction of traffic participants. We substantially improve the estimation on dynamic objects, such as cars by 37% on the challenging nuScenes dataset, hence demonstrating that radar is a valuable additional sensor for monocular depth estimation in autonomous vehicles. Additionally, we plan on making the code publicly available.