arXiv reaDer
Panoptic-PHNet:クラスタリング疑似ヒートマップを介したリアルタイムで高精度のLiDARPanopticセグメンテーションに向けて
Panoptic-PHNet: Towards Real-Time and High-Precision LiDAR Panoptic Segmentation via Clustering Pseudo Heatmap
新たな課題として、パノラマセグメンテーションはセマンティックセグメンテーションとインスタンスセグメンテーションの両方で課題に直面しています。ただし、速度と精度の観点から、この分野の既存のLiDARメソッドはまだ制限されています。この論文では、Panoptic-PHNetと呼ばれる高速で高性能なLiDARベースのフレームワークを提案します。3つの魅力的な側面があります。1)新しいパラダイムとしてクラスタリング疑似ヒートマップを導入し、その後に中央のグループ化モジュールを導入します。 、オブジェクトレベルの学習タスクなしで効率的なクラスタリングのためのインスタンスセンターを生成します。 2)正確なオフセット回帰のために前景点間の相互作用をモデル化するためにknn-transformerモジュールが提案されています。 3)バックボーンの設計では、詳細な情報とグローバルな情報の両方を利用するために、きめの細かいボクセル機能と2D Bird's Eye View(BEV)機能をさまざまな受容野と融合させます。 SemanticKITTIデータセットとnuScenesデータセットの両方での広範な実験は、Panoptic-PHNetがリアルタイムの速度で驚くべきマージンで最先端の方法を上回っていることを示しています。 SemanticKITTIのパブリックリーダーボードで1位を獲得し、最近リリースされたnuScenesのリーダーボードでトップのパフォーマンスを達成しました。
As a rising task, panoptic segmentation is faced with challenges in both semantic segmentation and instance segmentation. However, in terms of speed and accuracy, existing LiDAR methods in the field are still limited. In this paper, we propose a fast and high-performance LiDAR-based framework, referred to as Panoptic-PHNet, with three attractive aspects: 1) We introduce a clustering pseudo heatmap as a new paradigm, which, followed by a center grouping module, yields instance centers for efficient clustering without object-level learning tasks. 2) A knn-transformer module is proposed to model the interaction among foreground points for accurate offset regression. 3) For backbone design, we fuse the fine-grained voxel features and the 2D Bird's Eye View (BEV) features with different receptive fields to utilize both detailed and global information. Extensive experiments on both SemanticKITTI dataset and nuScenes dataset show that our Panoptic-PHNet surpasses state-of-the-art methods by remarkable margins with a real-time speed. We achieve the 1st place on the public leaderboard of SemanticKITTI and leading performance on the recently released leaderboard of nuScenes.
updated: Sat May 14 2022 08:16:13 GMT+0000 (UTC)
published: Sat May 14 2022 08:16:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト