レーダーとカメラは成熟していて費用効果が高く、堅牢なセンサーであり、大量生産された自動運転システムの認識スタックで広く使用されています。それらの補完的な特性により、レーダー探知(レーダーピン)とカメラ知覚(2Dバウンディングボックス)からの出力は通常、最良の知覚結果を生成するために融合されます。レーダーとカメラの融合を成功させる秘訣は、正確なデータの関連付けです。レーダーとカメラの関連付けにおける課題は、運転シーンの複雑さ、レーダー測定のノイズが多くまばらな性質、および2D境界ボックスからの深度のあいまいさに起因する可能性があります。従来のルールベースの関連付け方法は、困難なシナリオではパフォーマンスが低下し、コーナーケースでは失敗する可能性があります。この研究では、特徴レベルの相互作用とグローバルな推論を探求するために、深い表現学習を介してrad-camの関連付けに対処することを提案します。具体的には、不完全なラベリングの難しさを克服し、重要な人間の推論を実施するために、損失サンプリングメカニズムと革新的な順序損失を設計します。ルールベースのアルゴリズムによって生成されたノイズの多いラベルでトレーニングされているにもかかわらず、提案された方法は、ルールベースの教師よりも11.6%高い92.2%のF1スコアのパフォーマンスを達成します。さらに、このデータ駆動型の方法は、コーナーケースマイニングによる継続的な改善にも役立ちます。
Radars and cameras are mature, cost-effective, and robust sensors and have been widely used in the perception stack of mass-produced autonomous driving systems. Due to their complementary properties, outputs from radar detection (radar pins) and camera perception (2D bounding boxes) are usually fused to generate the best perception results. The key to successful radar-camera fusion is accurate data association. The challenges in radar-camera association can be attributed to the complexity of driving scenes, the noisy and sparse nature of radar measurements, and the depth ambiguity from 2D bounding boxes. Traditional rule-based association methods are susceptible to performance degradation in challenging scenarios and failure in corner cases. In this study, we propose to address rad-cam association via deep representation learning, to explore feature-level interaction and global reasoning. Concretely, we design a loss sampling mechanism and an innovative ordinal loss to overcome the difficulty of imperfect labeling and to enforce critical human reasoning. Despite being trained with noisy labels generated by a rule-based algorithm, our proposed method achieves a performance of 92.2% F1 score, which is 11.6% higher than the rule-based teacher. Moreover, this data-driven method also lends itself to continuous improvement via corner case mining.