arXiv reaDer
長距離深度イメージング用のハイブリッドミリ波およびカメラシステム
A Hybrid mmWave and Camera System for Long-Range Depth Imaging
ミリ波レーダーは、ミリ波無線周波数での帯域幅が広いため、優れた深度分解能を提供します。それでも、それらは本質的に低い角度分解能に悩まされており、それはカメラシステムよりも桁違いに悪いため、単独では有能な3Dイメージングソリューションではありません。レーダーとカメラシステムの補完的な強みを組み合わせて、数十メートルの距離で高方位角解像度の深度画像を高精度ですべて単一の固定された視点から取得するシステムであるMetamoranを提案します。 Metamoranは、路傍の安全インフラストラクチャ、監視、および広域マッピングへのアプリケーションを使用して、屋外での豊富な長距離深度イメージングを可能にします。私たちの重要な洞察は、画像セグメンテーションや単眼深度推定などのコンピュータービジョン技術を使用してカメラからの高方位角分解能を使用してオブジェクトの形状を取得し、これらを新しいスペキュラービームフォーミングアルゴリズムの事前設定として使用することです。また、このアルゴリズムは、反射が弱い雑然とした環境や部分的に遮られたシナリオで機能するように設計されています。米国の主要都市の200の多様なシーンで、メタモランの深度イメージングおよびセンシング機能の詳細な評価を実行します。私たちの評価によると、Metamoranは最大60m離れた物体の深度を推定し、中央値誤差は28cmで、ナイーブレーダー+カメラベースラインと比較して13倍、単眼深度推定と比較して23倍向上しています。
mmWave radars offer excellent depth resolution owing to their high bandwidth at mmWave radio frequencies. Yet, they suffer intrinsically from poor angular resolution, that is an order-of-magnitude worse than camera systems, and are therefore not a capable 3-D imaging solution in isolation. We propose Metamoran, a system that combines the complimentary strengths of radar and camera systems to obtain depth images at high azimuthal resolutions at distances of several tens of meters with high accuracy, all from a single fixed vantage point. Metamoran enables rich long-range depth imaging outdoors with applications to roadside safety infrastructure, surveillance and wide-area mapping. Our key insight is to use the high azimuth resolution from cameras using computer vision techniques, including image segmentation and monocular depth estimation, to obtain object shapes and use these as priors for our novel specular beamforming algorithm. We also design this algorithm to work in cluttered environments with weak reflections and in partially occluded scenarios. We perform a detailed evaluation of Metamoran's depth imaging and sensing capabilities in 200 diverse scenes at a major U.S. city. Our evaluation shows that Metamoran estimates the depth of an object up to 60~m away with a median error of 28~cm, an improvement of 13× compared to a naive radar+camera baseline and 23× compared to monocular depth estimation.
updated: Wed Feb 23 2022 16:17:41 GMT+0000 (UTC)
published: Tue Jun 15 2021 03:19:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト