arXiv reaDer
ThermRad: 厳しい条件下でも堅牢な 3D オブジェクト検出を実現するマルチモーダル データセット
ThermRad: A Multi-modal Dataset for Robust 3D Object Detection under Challenging Conditions
極端な天候や照明条件下で堅牢な 3D オブジェクトを検出することは、困難な作業です。レーダーとサーマルカメラはこれらの条件に対する耐性が高いことで知られていますが、対応するデータセットが不足しているため、レーダーと熱融合に関する研究はほとんど行われていません。このギャップに対処するために、私たちはまず、3D LiDAR、4D レーダー、RGB カメラ、サーマル カメラを含む ThermRad と呼ばれる新しいマルチモーダル データセットを提示します。このデータセットは、異常気象条件における 4 つのセンサーすべてからのデータが含まれているという点でユニークであり、この分野の将来の研究に貴重なリソースを提供します。困難な気象条件下での 3D 物体検出に対する 4D レーダーとサーマル カメラの堅牢性を検証するために、RTDF-RCNN と呼ばれる新しいマルチモーダル フュージョン手法を提案します。これは、4D レーダーとサーマル カメラの補完的な強みを活用して物体検出パフォーマンスを向上させます。提案したフレームワークの有効性をさらに証明するために、評価のベンチマークとしてデータセットに最先端 (SOTA) 3D 検出器を再実装します。私たちの手法は、自動車、歩行者、自転車の検出においてそれぞれ 7.98%、24.27%、27.15% 以上の大幅な向上を実現し、LiDAR ベースのアプローチと同等の結果を達成しました。 ThermRad データセットと新しいマルチモーダル フュージョン手法の両方における私たちの貢献により、悪天候や照明条件下での堅牢な 3D オブジェクト検出への新しいアプローチが提供されます。 ThermRad データセットがリリースされます。
Robust 3D object detection in extreme weather and illumination conditions is a challenging task. While radars and thermal cameras are known for their resilience to these conditions, few studies have been conducted on radar-thermal fusion due to the lack of corresponding datasets. To address this gap, we first present a new multi-modal dataset called ThermRad, which includes a 3D LiDAR, a 4D radar, an RGB camera and a thermal camera. This dataset is unique because it includes data from all four sensors in extreme weather conditions, providing a valuable resource for future research in this area. To validate the robustness of 4D radars and thermal cameras for 3D object detection in challenging weather conditions, we propose a new multi-modal fusion method called RTDF-RCNN, which leverages the complementary strengths of 4D radars and thermal cameras to boost object detection performance. To further prove the effectiveness of our proposed framework, we re-implement state-of-the-art (SOTA) 3D detectors on our dataset as benchmarks for evaluation. Our method achieves significant enhancements in detecting cars, pedestrians, and cyclists, with improvements of over 7.98%, 24.27%, and 27.15%, respectively, while achieving comparable results to LiDAR-based approaches. Our contributions in both the ThermRad dataset and the new multi-modal fusion method provide a new approach to robust 3D object detection in adverse weather and illumination conditions. The ThermRad dataset will be released.
updated: Tue Sep 12 2023 09:45:02 GMT+0000 (UTC)
published: Sun Aug 20 2023 04:34:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト