ロボットや自動運転車が都市環境をナビゲートするには、パノラマシーンの理解と動的エージェントの追跡が不可欠です。 LiDARはシーンの正確な照明に依存しない幾何学的描写を提供するため、LiDARポイントクラウドを使用してこれらのタスクを実行すると、信頼性の高い予測が提供されます。ただし、既存のデータセットは都市のシーンのタイプに多様性がなく、動的オブジェクトインスタンスの数が限られているため、これらのタスクの学習と開発されたメソッドの信頼できるベンチマークの両方が妨げられます。このホワイトペーパーでは、セマンティックセグメンテーション、パノプティコンセグメンテーション、およびパノプティコントラッキングタスク用のポイントごとのグラウンドトゥルースアノテーションを使用して、人気のあるnuScenesデータセットを拡張する大規模なパノプティコンnuScenesベンチマークデータセットを紹介します。比較を容易にするために、提案されたデータセットのこれらのタスクごとにいくつかの強力なベースラインを提供します。さらに、パノラマトラッキングの既存のメトリックの欠点を分析し、懸念に対処する新しいインスタンス中心のPATメトリックを提案します。既存のデータセットと比較したPanopticnuScenesの有用性を実証する徹底的な実験を提示し、nuScenes.orgでオンライン評価サーバーを利用できるようにします。この拡張により、ダイナミックな都市環境のシーンを理解するための新しい方法の研究が加速すると考えています。
Panoptic scene understanding and tracking of dynamic agents are essential for robots and automated vehicles to navigate in urban environments. As LiDARs provide accurate illumination-independent geometric depictions of the scene, performing these tasks using LiDAR point clouds provides reliable predictions. However, existing datasets lack diversity in the type of urban scenes and have a limited number of dynamic object instances which hinders both learning of these tasks as well as credible benchmarking of the developed methods. In this paper, we introduce the large-scale Panoptic nuScenes benchmark dataset that extends our popular nuScenes dataset with point-wise groundtruth annotations for semantic segmentation, panoptic segmentation, and panoptic tracking tasks. To facilitate comparison, we provide several strong baselines for each of these tasks on our proposed dataset. Moreover, we analyze the drawbacks of the existing metrics for panoptic tracking and propose the novel instance-centric PAT metric that addresses the concerns. We present exhaustive experiments that demonstrate the utility of Panoptic nuScenes compared to existing datasets and make the online evaluation server available at nuScenes.org. We believe that this extension will accelerate the research of novel methods for scene understanding of dynamic urban environments.