レーダーとビデオ データは検出レベルで簡単に融合できますが、ピクセル レベルで融合するとより効果的です。これは、レーダーの数が少ないことも原因の一部ですが、自動車のレーダー ビームは一般的なピクセルよりもはるかに幅が広く、カメラとレーダーの間のベースラインが大きいため、レーダー ピクセルとカラー ピクセルの関連付けが不十分になるためです。結果として、LiDAR とビデオ用に設計された深度補完方法は、レーダーとビデオではうまく機能しません。ここでは、レーダー リターンからピクセルへのマッピングを学習するレーダー ピクセル アソシエーション ステージを提案します。このマッピングは、レーダー リターンを高密度化するのにも役立ちます。これを第 1 段階として使用し、続いてより伝統的な深度補完方法を使用することで、レーダーとビデオを使用した画像ガイドによる深度補完を実現できます。 nuScenes データセットでは、カメラとレーダーのみよりも優れたパフォーマンスを示しています。ソース コードは https://github.com/longyunf/rc-pda で入手できます。
While radar and video data can be readily fused at the detection level, fusing them at the pixel level is potentially more beneficial. This is also more challenging in part due to the sparsity of radar, but also because automotive radar beams are much wider than a typical pixel combined with a large baseline between camera and radar, which results in poor association between radar pixels and color pixel. A consequence is that depth completion methods designed for LiDAR and video fare poorly for radar and video. Here we propose a radar-to-pixel association stage which learns a mapping from radar returns to pixels. This mapping also serves to densify radar returns. Using this as a first stage, followed by a more traditional depth completion method, we are able to achieve image-guided depth completion with radar and video. We demonstrate performance superior to camera and radar alone on the nuScenes dataset. Our source code is available at https://github.com/longyunf/rc-pda.