arXiv reaDer
インフラストラクチャ認識のためのキャリブレーション不要の BEV 表現
Calibration-free BEV Representation for Infrastructure Perception
インフラストラクチャ上の効果的な BEV オブジェクト検出は、交通シーンの理解と車両とインフラストラクチャ (V2I) の協調認識を大幅に向上させることができます。しかし、インフラに設置されたカメラはさまざまな姿勢をとり、従来のBEV検出方法は正確なキャリブレーションに依存しており、風や雪などの必然的な自然要因により実用化が困難でした。この論文では、校正パラメータと追加の深度監視なしで、BEV 表現に基づいて 3D 検出を実現する、校正不要の BEV 表現 (CBR) ネットワークを提案します。具体的には、2 つの多層パーセプトロンを使用して、ボックスによって誘導されるフォアグラウンド監視の下で、特徴を斜視図から正面図および鳥瞰図に分離します。次に、クロスビュー機能融合モジュールは、類似性に従って直交ビューからの機能を照合し、正面図機能を使用して BEV 機能拡張を実行します。 DAIR-V2X での実験結果は、CBR がカメラ パラメータなしで許容できるパフォーマンスを達成し、キャリブレーション ノイズの影響を受けないことを示しています。 CBR が、インフラ認識の実際的な課題に対処する将来の研究のベースラインとして役立つことを願っています。
Effective BEV object detection on infrastructure can greatly improve traffic scenes understanding and vehicle-toinfrastructure (V2I) cooperative perception. However, cameras installed on infrastructure have various postures, and previous BEV detection methods rely on accurate calibration, which is difficult for practical applications due to inevitable natural factors (e.g., wind and snow). In this paper, we propose a Calibration-free BEV Representation (CBR) network, which achieves 3D detection based on BEV representation without calibration parameters and additional depth supervision. Specifically, we utilize two multi-layer perceptrons for decoupling the features from perspective view to front view and birdeye view under boxes-induced foreground supervision. Then, a cross-view feature fusion module matches features from orthogonal views according to similarity and conducts BEV feature enhancement with front view features. Experimental results on DAIR-V2X demonstrate that CBR achieves acceptable performance without any camera parameters and is naturally not affected by calibration noises. We hope CBR can serve as a baseline for future research addressing practical challenges of infrastructure perception.
updated: Tue Mar 07 2023 01:31:06 GMT+0000 (UTC)
published: Tue Mar 07 2023 01:31:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト