arXiv reaDer
自動運転における 3D セマンティック セグメンテーションのドメイン一般化
Domain generalization of 3D semantic segmentation in autonomous driving
ディープラーニングを使用する 3D 自動運転セマンティック セグメンテーションは、非常に高いパフォーマンスを達成できる手法を備え、よく研究されているテーマとなっています。それにもかかわらず、トレーニング データセットのサイズが限られているため、これらのモデルは、現実世界のアプリケーションで見られるすべての種類のオブジェクトやシーンを確認できるわけではありません。このようなさまざまな未知の環境において信頼性を維持できる機能は、ドメインの汎化と呼ばれます。 3D 自動運転セマンティック セグメンテーションの場合、その重要性にもかかわらず、ドメインの一般化は比較的研究されていません。このギャップを埋めるために、このホワイトペーパーでは、最先端の方法をテストし、Laser Imaging Detection and Ranging (LiDAR) ドメインのシフトに取り組む難しさを議論することで、このアプリケーションの最初のベンチマークを示します。また、このドメインの一般化に対処するために設計された、3DLabelProp と呼ばれる最初のメソッドも提案します。この方法は、LiDAR データのジオメトリと連続性を利用して、部分的に蓄積された点群に取り組むことで汎化パフォーマンスを向上させます。 SemanticKITTI のみでトレーニングされているにもかかわらず、SemanticPOSS で平均交差オーバーユニオン (mIoU) が 50.4%、PandaSet ソリッドステート LiDAR で 55.2% に達し、最先端の汎化手法 (+5% および2 番目に優れた方法よりもそれぞれ +33% 優れています)。このメソッドのコードは、GitHub: https://github.com/JulesSanchez/3DLabelProp で入手できます。
Using deep learning, 3D autonomous driving semantic segmentation has become a well-studied subject, with methods that can reach very high performance. Nonetheless, because of the limited size of the training datasets, these models cannot see every type of object and scene found in real-world applications. The ability to be reliable in these various unknown environments is called domain generalization. Despite its importance, domain generalization is relatively unexplored in the case of 3D autonomous driving semantic segmentation. To fill this gap, this paper presents the first benchmark for this application by testing state-of-the-art methods and discussing the difficulty of tackling Laser Imaging Detection and Ranging (LiDAR) domain shifts. We also propose the first method designed to address this domain generalization, which we call 3DLabelProp. This method relies on leveraging the geometry and sequentiality of the LiDAR data to enhance its generalization performances by working on partially accumulated point clouds. It reaches a mean Intersection over Union (mIoU) of 50.4% on SemanticPOSS and of 55.2% on PandaSet solid-state LiDAR while being trained only on SemanticKITTI, making it the state-of-the-art method for generalization (+5% and +33% better, respectively, than the second best method). The code for this method is available on GitHub: https://github.com/JulesSanchez/3DLabelProp.
updated: Thu Aug 17 2023 19:15:31 GMT+0000 (UTC)
published: Wed Dec 07 2022 12:44:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト