セマンティック シーン コンプリーション (SSC) のためのディープ モデルのトレーニングは、まばらで不完全な入力、さまざまなスケールの大量のオブジェクト、移動オブジェクトに固有のラベル ノイズのために困難です。上記の問題に対処するために、次の 3 つの解決策を提案します。 1) 完了サブネットワークの再設計。マルチスケール機能を集約するためにいくつかのマルチパスブロック(MPB)で構成され、損失の多いダウンサンプリング操作から解放された、新しい完了サブネットワークを設計します。 2) マルチフレームモデルから豊富な知識を抽出。私たちは、Dense-to-Sparse Knowledge Distillation (DSKD) と呼ばれる新しい知識蒸留目標を設計します。マルチフレームの教師からシングルフレームの生徒に高密度の関係ベースのセマンティック知識を転送し、シングルフレームモデルの表現学習を大幅に改善します。 3) 完了ラベルの修正。既製のパノプティック セグメンテーション ラベルを使用して完了ラベル内の動的オブジェクトの痕跡を削除し、特に移動オブジェクトのディープ モデルのパフォーマンスを大幅に向上させる、シンプルかつ効果的なラベル修正戦略を提案します。 SemanticKITTI と SemanticPOSS という 2 つの公開 SSC ベンチマークで広範な実験が行われています。私たちの SCPNet は、SemanticKITTI セマンティック シーン完了チャレンジで 1 位にランクされ、競合する S3CNet を 7.2 mIoU 上回っています。 SCPNet は、SemanticPOSS データセットでの以前の補完アルゴリズムよりも優れています。その上、私たちの方法は SemanticKITTI セマンティック セグメンテーション タスクでも競争力のある結果を達成しており、シーンの完成で学んだ知識がセグメンテーション タスクに有益であることを示しています。
Training deep models for semantic scene completion (SSC) is challenging due to the sparse and incomplete input, a large quantity of objects of diverse scales as well as the inherent label noise for moving objects. To address the above-mentioned problems, we propose the following three solutions: 1) Redesigning the completion sub-network. We design a novel completion sub-network, which consists of several Multi-Path Blocks (MPBs) to aggregate multi-scale features and is free from the lossy downsampling operations. 2) Distilling rich knowledge from the multi-frame model. We design a novel knowledge distillation objective, dubbed Dense-to-Sparse Knowledge Distillation (DSKD). It transfers the dense, relation-based semantic knowledge from the multi-frame teacher to the single-frame student, significantly improving the representation learning of the single-frame model. 3) Completion label rectification. We propose a simple yet effective label rectification strategy, which uses off-the-shelf panoptic segmentation labels to remove the traces of dynamic objects in completion labels, greatly improving the performance of deep models especially for those moving objects. Extensive experiments are conducted in two public SSC benchmarks, i.e., SemanticKITTI and SemanticPOSS. Our SCPNet ranks 1st on SemanticKITTI semantic scene completion challenge and surpasses the competitive S3CNet by 7.2 mIoU. SCPNet also outperforms previous completion algorithms on the SemanticPOSS dataset. Besides, our method also achieves competitive results on SemanticKITTI semantic segmentation tasks, showing that knowledge learned in the scene completion is beneficial to the segmentation task.