arXiv reaDer
LidarMultiNet:LiDARセマンティックセグメンテーション、3Dオブジェクト検出、およびパノプティコンセグメンテーションを単一のマルチタスクネットワークに統合
LidarMultiNet: Unifying LiDAR Semantic Segmentation, 3D Object Detection, and Panoptic Segmentation in a Single Multi-task Network
このテクニカルレポートは、Waymo Open Dataset 3Dセマンティックセグメンテーションチャレンジ2022の1位を獲得したソリューションを示しています。LidarMultiNetと呼ばれる当社のネットワークは、3Dセマンティックセグメンテーション、オブジェクト検出、パノラマセグメンテーションなどの主要なLiDAR認識タスクを単一のフレームワークに統合します。 LidarMultiNetの中核には、強力な3Dボクセルベースのエンコーダーデコーダーネットワークがあり、LiDARフレームからグローバルコンテキスト機能を抽出してローカル機能を補完する新しいグローバルコンテキストプーリング(GCP)モジュールを備えています。オプションの第2ステージは、第1ステージのセグメンテーションを改良するか、正確なパノラマセグメンテーション結果を生成するために提案されます。私たちのソリューションは71.13のmIoUを達成し、Waymo 3Dセマンティックセグメンテーションテストセットの22のクラスのほとんどに最適であり、公式リーダーボードの他のすべての3Dセマンティックセグメンテーションメソッドを上回っています。主要なLiDAR知覚タスクを、エンドツーエンドでトレーニングできる単一の強力なネットワークに統合できることを初めて示します。
This technical report presents the 1st place winning solution for the Waymo Open Dataset 3D semantic segmentation challenge 2022. Our network, termed LidarMultiNet, unifies the major LiDAR perception tasks such as 3D semantic segmentation, object detection, and panoptic segmentation in a single framework. At the core of LidarMultiNet is a strong 3D voxel-based encoder-decoder network with a novel Global Context Pooling (GCP) module extracting global contextual features from a LiDAR frame to complement its local features. An optional second stage is proposed to refine the first-stage segmentation or generate accurate panoptic segmentation results. Our solution achieves a mIoU of 71.13 and is the best for most of the 22 classes on the Waymo 3D semantic segmentation test set, outperforming all the other 3D semantic segmentation methods on the official leaderboard. We demonstrate for the first time that major LiDAR perception tasks can be unified in a single strong network that can be trained end-to-end.
updated: Fri Jun 24 2022 00:38:40 GMT+0000 (UTC)
published: Thu Jun 23 2022 00:22:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト