arXiv reaDer
自動運転における 3D セマンティック セグメンテーションのドメイン一般化
Domain generalization of 3D semantic segmentation in autonomous driving
ディープ ラーニングを使用した 3D 自動運転のセマンティック セグメンテーションは、非常に高いパフォーマンスを達成できる方法でよく研究されています。それにもかかわらず、トレーニング データセットのサイズが限られているため、これらのモデルは、実際のアプリケーションで見られるすべてのタイプのオブジェクトとシーンを表示できるわけではありません。これらのさまざまな未知の環境で信頼できる能力は、ドメインの一般化と呼ばれます。その重要性にもかかわらず、3D 自動運転のセマンティック セグメンテーションの場合、ドメインの一般化は比較的未開拓です。このギャップを埋めるために、このホワイト ペーパーでは、最先端の方法をテストし、レーザー イメージング検出および測距 (LiDAR) ドメイン シフトに取り組むことの難しさについて説明することにより、このアプリケーションの最初のベンチマークを提示します。また、このドメインの一般化に対処するために設計された最初の方法を提案します。これは 3DLabelProp と呼ばれます。この方法は、LiDAR データのジオメトリとシーケンシャル性を活用して、部分的に蓄積された点群を処理することで一般化のパフォーマンスを向上させることに依存しています。 SemanticPOSS で 50.4%、PandaSet ソリッドステート LiDAR で 55.2% の平均 Intersection over Union (mIoU) に達し、SemanticKITTI でのみトレーニングされているため、一般化のための最先端の方法となっています (+5% および2 番目に良い方法よりもそれぞれ +33% 優れています)。このメソッドのコードは GitHub で入手できます。
Using deep learning, 3D autonomous driving semantic segmentation has become a well-studied subject, with methods that can reach very high performance. Nonetheless, because of the limited size of the training datasets, these models cannot see every type of object and scene found in real-world applications. The ability to be reliable in these various unknown environments is called domain generalization. Despite its importance, domain generalization is relatively unexplored in the case of 3D autonomous driving semantic segmentation. To fill this gap, this paper presents the first benchmark for this application by testing state-of-the-art methods and discussing the difficulty of tackling Laser Imaging Detection and Ranging (LiDAR) domain shifts. We also propose the first method designed to address this domain generalization, which we call 3DLabelProp. This method relies on leveraging the geometry and sequentiality of the LiDAR data to enhance its generalization performances by working on partially accumulated point clouds. It reaches a mean Intersection over Union (mIoU) of 50.4% on SemanticPOSS and of 55.2% on PandaSet solid-state LiDAR while being trained only on SemanticKITTI, making it the state-of-the-art method for generalization (+5% and +33% better, respectively, than the second best method). The code for this method will be available on GitHub.
updated: Mon Mar 20 2023 09:41:47 GMT+0000 (UTC)
published: Wed Dec 07 2022 12:44:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト