arXiv reaDer
隠された宝石: クロスモーダル監視を使用した 4D レーダー シーン フロー学習
Hidden Gems: 4D Radar Scene Flow Learning Using Cross-Modal Supervision
この作業は、クロスモーダル学習による 4D レーダーベースのシーン フロー推定への新しいアプローチを提案します。私たちのアプローチは、最新の自動運転車におけるコロケーション センシングの冗長性によって動機付けられています。このような冗長性は、レーダー シーン フロー推定にさまざまな形式の監視キューを暗示的に提供します。具体的には、特定されたクロスモーダル学習問題のマルチタスク モデル アーキテクチャを導入し、損失関数を提案して、効果的なモデル トレーニングのために複数のクロスモーダル制約を使用してシーン フロー推定を日和見的に行います。広範な実験により、私たちの方法の最先端のパフォーマンスが示され、より正確な4Dレーダーシーンフローを推測するためのクロスモーダル教師あり学習の有効性が実証されています。また、モーション セグメンテーションとエゴ モーション推定の 2 つのサブタスクへの有用性も示します。ソース コードは https://github.com/Toytiny/CMFlow で入手できます。
This work proposes a novel approach to 4D radar-based scene flow estimation via cross-modal learning. Our approach is motivated by the co-located sensing redundancy in modern autonomous vehicles. Such redundancy implicitly provides various forms of supervision cues to the radar scene flow estimation. Specifically, we introduce a multi-task model architecture for the identified cross-modal learning problem and propose loss functions to opportunistically engage scene flow estimation using multiple cross-modal constraints for effective model training. Extensive experiments show the state-of-the-art performance of our method and demonstrate the effectiveness of cross-modal supervised learning to infer more accurate 4D radar scene flow. We also show its usefulness to two subtasks - motion segmentation and ego-motion estimation. Our source code will be available on https://github.com/Toytiny/CMFlow.
updated: Thu Mar 02 2023 20:54:29 GMT+0000 (UTC)
published: Wed Mar 01 2023 12:41:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト