arXiv reaDer
自動運転における 3D セマンティック セグメンテーションのドメイン一般化
Domain generalization of 3D semantic segmentation in autonomous driving
ディープ ラーニングを使用した 3D 自動運転のセマンティック セグメンテーションは、十分に研究された主題となり、非常に高いパフォーマンスを達成できる方法を提供しています。それにもかかわらず、トレーニング データセットのサイズが限られているため、これらのモデルは、実際のアプリケーションで見られるすべてのタイプのオブジェクトとシーンを表示できるわけではありません。これらのさまざまな未知の環境で信頼できる能力は、ドメインの一般化と呼ばれます。その重要性にもかかわらず、3D 自動運転のセマンティック セグメンテーションの場合、ドメインの一般化は比較的未開拓です。このギャップを埋めるために、このホワイト ペーパーでは、最先端の方法をテストし、LiDAR ドメイン シフトに取り組むことの難しさについて説明することにより、このアプリケーションの最初のベンチマークを提示します。また、このドメインの一般化に対処するために設計された最初の方法を提案します。これは 3DLabelProp と呼ばれます。この方法は、LiDAR データのジオメトリとシーケンシャル性を活用して、部分的に蓄積された点群を処理することで一般化のパフォーマンスを向上させることに依存しています。 SemanticPOSS では 52.6% の mIoU に達し、SemanticKITTI のみでトレーニングされているため、一般化のための最先端の方法となっています (2 番目に優れた方法よりも +7.4% 優れています)。このメソッドのコードは、Github で入手できます。
3D autonomous driving semantic segmentation using deep learning has become, a well-studied subject, providing methods that can reach very high performance. Nonetheless, because of the limited size of the training datasets, these models cannot see every type of object and scenes found in real-world applications. The ability to be reliable in these various unknown environments is called domain generalization. Despite its importance, domain generalization is relatively unexplored in the case of 3D autonomous driving semantic segmentation. To fill this gap, this paper presents the first benchmark for this application by testing state-of-the-art methods and discussing the difficulty of tackling LiDAR domain shifts. We also propose the first method designed to address this domain generalization, which we call 3DLabelProp. This method relies on leveraging the geometry and sequentiality of the LiDAR data to enhance its generalization performances by working on partially accumulated point clouds. It reaches a mIoU of 52.6% on SemanticPOSS while being trained only on SemanticKITTI, making it state-of-the-art method for generalization (+7.4% better than the second best method). The code for this method will be available on Github.
updated: Wed Dec 07 2022 12:44:41 GMT+0000 (UTC)
published: Wed Dec 07 2022 12:44:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト