arXiv reaDer
FusionMotion: Neural-ODE による連続占有予測のためのマルチセンサー非同期融合
FusionMotion: Multi-Sensor Asynchronous Fusion for Continuous Occupancy Prediction via Neural-ODE
占有マップは、静的環境でのロボットの動作計画を容易にするための効率的な方法として広く認識されています。ただし、インテリジェントな車両では、安全な運転を確保するために、現在と未来の両方の瞬間を占有する必要があります。自動車業界では、交通シナリオにおける将来の占有率マップを正確かつ継続的に予測することは、依然として手ごわい課題です。この論文では、体系的な方法で継続的な占有率を予測するためのマルチセンサーの時空間融合戦略を調査します。この論文では、非同期マルチセンサーデータの融合を実現し、可変時間間隔と時間的視野で将来の占有マップを予測できる、新しい鳥瞰図 (BEV) 占有予測器である FusionMotion を紹介します。驚くべきことに、FusionMotion は占有予測のために再帰型ニューラル ネットワークにニューラル常微分方程式を採用していることを特徴としています。 FusionMotion は、時間的視野にわたって BEV 機能の導関数を学習し、暗黙的なセンサーの BEV 機能測定値を更新し、各 ODE ステップの将来の状態を伝播します。大規模な nuScenes と Lyft L5 データセットに関する広範な実験は、FusionMotion が以前の方法よりも大幅に優れていることを示しています。さらに、同期要件を減らしながら、Lyft L5 データセットでの BEVFusion スタイルの融合戦略よりも優れています。コードとモデルが利用可能になります。
Occupancy maps are widely recognized as an efficient method for facilitating robot motion planning in static environments. However, for intelligent vehicles, occupancy of both the present and future moments is required to ensure safe driving. In the automotive industry, the accurate and continuous prediction of future occupancy maps in traffic scenarios remains a formidable challenge. This paper investigates multi-sensor spatio-temporal fusion strategies for continuous occupancy prediction in a systematic manner. This paper presents FusionMotion, a novel bird's eye view (BEV) occupancy predictor which is capable of achieving the fusion of asynchronous multi-sensor data and predicting the future occupancy map with variable time intervals and temporal horizons. Remarkably, FusionMotion features the adoption of neural ordinary differential equations on recurrent neural networks for occupancy prediction. FusionMotion learns derivatives of BEV features over temporal horizons, updates the implicit sensor's BEV feature measurements and propagates future states for each ODE step. Extensive experiments on large-scale nuScenes and Lyft L5 datasets demonstrate that FusionMotion significantly outperforms previous methods. In addition, it outperforms the BEVFusion-style fusion strategy on the Lyft L5 dataset while reducing synchronization requirements. Codes and models will be made available.
updated: Sun Feb 19 2023 14:38:01 GMT+0000 (UTC)
published: Sun Feb 19 2023 14:38:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト