ディープラーニングを使用する 3D 自動運転セマンティック セグメンテーションは、非常に高いパフォーマンスを達成できる手法を備え、よく研究されているテーマとなっています。それにもかかわらず、トレーニング データセットのサイズが限られているため、これらのモデルは、現実世界のアプリケーションで見られるすべての種類のオブジェクトやシーンを確認できるわけではありません。このようなさまざまな未知の環境において信頼性を維持できる機能は、ドメインの汎化と呼ばれます。 3D 自動運転セマンティック セグメンテーションの場合、その重要性にもかかわらず、ドメインの一般化は比較的研究されていません。このギャップを埋めるために、このホワイトペーパーでは、最先端の方法をテストし、Laser Imaging Detection and Ranging (LiDAR) ドメインのシフトに取り組む難しさを議論することで、このアプリケーションの最初のベンチマークを示します。また、このドメインの一般化に対処するために設計された、3DLabelProp と呼ばれる最初のメソッドも提案します。この方法は、LiDAR データのジオメトリと連続性を利用して、部分的に蓄積された点群に取り組むことで汎化パフォーマンスを向上させます。 SemanticKITTI のみでトレーニングされているにもかかわらず、SemanticPOSS で平均交差オーバーユニオン (mIoU) が 50.4%、PandaSet ソリッドステート LiDAR で 55.2% に達し、最先端の汎化手法 (+5% および2 番目に優れた方法よりもそれぞれ +33% 優れています)。このメソッドのコードは、GitHub: https://github.com/JulesSanchez/3DLabelProp で入手できます。
Using deep learning, 3D autonomous driving semantic segmentation has become a well-studied subject, with methods that can reach very high performance. Nonetheless, because of the limited size of the training datasets, these models cannot see every type of object and scene found in real-world applications. The ability to be reliable in these various unknown environments is called domain generalization. Despite its importance, domain generalization is relatively unexplored in the case of 3D autonomous driving semantic segmentation. To fill this gap, this paper presents the first benchmark for this application by testing state-of-the-art methods and discussing the difficulty of tackling Laser Imaging Detection and Ranging (LiDAR) domain shifts. We also propose the first method designed to address this domain generalization, which we call 3DLabelProp. This method relies on leveraging the geometry and sequentiality of the LiDAR data to enhance its generalization performances by working on partially accumulated point clouds. It reaches a mean Intersection over Union (mIoU) of 50.4% on SemanticPOSS and of 55.2% on PandaSet solid-state LiDAR while being trained only on SemanticKITTI, making it the state-of-the-art method for generalization (+5% and +33% better, respectively, than the second best method). The code for this method is available on GitHub: https://github.com/JulesSanchez/3DLabelProp.