遮蔽された長距離オブジェクトは遍在しているため、3D オブジェクトの検出が困難です。点群シーケンス データは、遮蔽されたオブジェクトや遠く離れたオブジェクトをさまざまな視点から観察したり、時間の経過とともに視認性が向上したりするため、このようなケースを改善するユニークな機会を提供します。ただし、長期シーケンス データのエンコードにおける効率と有効性はまだ改善の可能性があります。この研究では、仮想モダリティの一種として動き予測出力を使用して、LiDAR 点群を拡張する MoDAR を提案します。 MoDAR モダリティは、オブジェクト情報を時間コンテキストからターゲット フレームに伝播します。ターゲット フレームは、予測された軌道上のウェイポイントからオブジェクトごとに 1 つずつ、仮想点のセットとして表されます。生のセンサー ポイントと仮想ポイントの両方を融合した点群を、既製の点群ベースの 3D オブジェクト検出器に供給できます。 Waymo Open Dataset で評価された私たちの方法は、非常に長いシーケンス (18 秒など) からの動き予測を使用することで従来技術の検出器を大幅に改善し、計算オーバーヘッドをあまり追加せずに新しい状態を達成します。
Occluded and long-range objects are ubiquitous and challenging for 3D object detection. Point cloud sequence data provide unique opportunities to improve such cases, as an occluded or distant object can be observed from different viewpoints or gets better visibility over time. However, the efficiency and effectiveness in encoding long-term sequence data can still be improved. In this work, we propose MoDAR, using motion forecasting outputs as a type of virtual modality, to augment LiDAR point clouds. The MoDAR modality propagates object information from temporal contexts to a target frame, represented as a set of virtual points, one for each object from a waypoint on a forecasted trajectory. A fused point cloud of both raw sensor points and the virtual points can then be fed to any off-the-shelf point-cloud based 3D object detector. Evaluated on the Waymo Open Dataset, our method significantly improves prior art detectors by using motion forecasting from extra-long sequences (e.g. 18 seconds), achieving new state of the arts, while not adding much computation overhead.