3D環境を理解して解釈することは、自動運転車にとって重要な課題です。 3Dポイントクラウドのセマンティックセグメンテーションは、3D情報とセマンティクスを組み合わせて、このタスクに貴重な貢献を提供します。多くの実際のアプリケーションでは、点群はLIDARセンサーによって連続的に生成されます。単一の独立したフレームの代わりに時系列を使用すると、時間情報を活用できます。したがって、単一の範囲の画像フレームを入力として受け取り、再帰的に集約された時間情報を活用するリカレントセグメンテーションアーキテクチャ(RNN)を提案します。時間的メモリアラインメントと呼ばれるアラインメント戦略は、エゴモーションを使用して、特徴空間内の連続するフレーム間でメモリを時間的にアラインメントします。残余ネットワークとConvGRUは、メモリの更新について調査されます。 2つの大規模データセットで提示されたアプローチの利点を示し、いくつかの最先端の方法と比較します。私たちのアプローチは、SemanticKITTIマルチスキャンベンチマークで1位にランクされ、シングルスキャンベンチマークで最先端のパフォーマンスを実現します。さらに、評価は、時間情報の活用が単一フレームアプローチと比較してセグメンテーション結果を大幅に改善することを示しています。
Understanding and interpreting a 3d environment is a key challenge for autonomous vehicles. Semantic segmentation of 3d point clouds combines 3d information with semantics and thereby provides a valuable contribution to this task. In many real-world applications, point clouds are generated by lidar sensors in a consecutive fashion. Working with a time series instead of single and independent frames enables the exploitation of temporal information. We therefore propose a recurrent segmentation architecture (RNN), which takes a single range image frame as input and exploits recursively aggregated temporal information. An alignment strategy, which we call Temporal Memory Alignment, uses ego motion to temporally align the memory between consecutive frames in feature space. A Residual Network and ConvGRU are investigated for the memory update. We demonstrate the benefits of the presented approach on two large-scale datasets and compare it to several stateof-the-art methods. Our approach ranks first on the SemanticKITTI multiple scan benchmark and achieves state-of-the-art performance on the single scan benchmark. In addition, the evaluation shows that the exploitation of temporal information significantly improves segmentation results compared to a single frame approach.