arXiv reaDer
長距離深度イメージング用のハイブリッドミリ波およびカメラシステム
A Hybrid mmWave and Camera System for Long-Range Depth Imaging
ミリ波レーダーは、帯域幅が広いため、非常に長い距離でも優れた深度分解能を提供します。しかし、それらの角度分解能は、カメラやLIDARシステムよりも少なくとも1桁劣ります。したがって、ミリ波レーダーは、単独では有能な3Dイメージングソリューションではありません。レーダーとカメラの補完的な強みを組み合わせて、単一の固定された視点から、高クラッター環境でも長距離にわたって正確で高解像度の深度画像を取得するシステムであるMetamoranを提案します。 Metamoranは、セキュリティと監視、道路脇の安全インフラストラクチャ、および広域マッピングのアプリケーションを使用して、豊富な長距離深度イメージングを可能にします。私たちのアプローチは、画像セグメンテーションや単眼深度推定などのコンピュータービジョン技術を使用してカメラからの高い角度分解能を活用して、オブジェクトの形状を取得します。私たちの主な貢献は、このオブジェクトの形状を同等のRF I / Qに変換する方法です。これは、新しいレーダー処理パイプラインで使用して、シーンを整理し、長距離のオブジェクトからの非常に弱い反射をキャプチャするのに役立ちます。 400の多様なシーンでMetamoranの深度イメージング機能の詳細な評価を実行します。私たちの評価によると、Metamoranは最大90mの静止物体と最大305mの移動物体の深さを推定し、中央値誤差は28 cmで、ナイーブレーダー+カメラベースラインと比較して13倍、単眼と比較して23倍改善されています。深度推定。
mmWave radars offer excellent depth resolution even at very long ranges owing to their high bandwidth. But their angular resolution is at least an order-of-magnitude worse than camera and lidar systems. Hence, mmWave radar is not a capable 3-D imaging solution in isolation. We propose Metamoran, a system that combines the complimentary strengths of radar and camera to obtain accurate, high resolution depth images over long ranges even in high clutter environments, all from a single fixed vantage point. Metamoran enables rich long-range depth imaging with applications in security and surveillance, roadside safety infrastructure and wide-area mapping. Our approach leverages the high angular resolution from cameras using computer vision techniques, including image segmentation and monocular depth estimation, to obtain object shape. Our core contribution is a method to convert this object shape into an RF I/Q equivalent, which we use in a novel radar processing pipeline to help declutter the scene and capture extremely weak reflections from objects at long distances. We perform a detailed evaluation of Metamoran's depth imaging capabilities in 400 diverse scenes. Our evaluation shows that Metamoran estimates the depth of static objects up to 90 m and moving objects up to 305 m and with a median error of 28 cm, an improvement of 13× compared to a naive radar+camera baseline and 23× compared to monocular depth estimation.
updated: Thu Feb 24 2022 16:08:52 GMT+0000 (UTC)
published: Tue Jun 15 2021 03:19:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト