arXiv reaDer
LiDAR セマンティック セグメンテーションのための 3D から鳥瞰図への知識の抽出
Knowledge Distillation from 3D to Bird's-Eye-View for LiDAR Semantic Segmentation
LiDAR ポイント クラウド セグメンテーションは、自動運転シーンを理解するための最も基本的なタスクの 1 つです。しかし、既存のモデルでは、高い推論速度と精度を同時に実現することは困難です。たとえば、ボクセルベースの方法は精度が高く、鳥瞰図 (BEV) ベースの方法はリアルタイムの推論を実現できます。この問題を克服するために、3D ボクセルベースのモデルから BEV ベースのモデルに豊富な知識を転送する、効果的な 3D から BEV への知識蒸留法を開発します。私たちのフレームワークは主に、ボクセルからピラーへの蒸留モジュールとラベル重量蒸留モジュールの 2 つのモジュールで構成されています。ボクセルからピラーへの蒸留は、まばらな 3D フィーチャを中間層の BEV フィーチャに蒸留して、BEV ベースのモデルがより多くの構造的および幾何学的情報を認識できるようにします。ラベル重み蒸留は、モデルがより多くの高さ情報を持つ領域により注意を払うのに役立ちます。最後に、SemanticKITTI データセットと Paris-Lille-3D で実験を行います。 SemanticKITTI の結果は、テスト セットで 5% 以上の改善を示しており、特にオートバイや人物などのクラスでは 15% 以上の改善が見られます。コードは https://github.com/fengjiang5/Knowledge-Distillation-from-Cylinder3D-to-PolarNet でアクセスできます。
LiDAR point cloud segmentation is one of the most fundamental tasks for autonomous driving scene understanding. However, it is difficult for existing models to achieve both high inference speed and accuracy simultaneously. For example, voxel-based methods perform well in accuracy, while Bird's-Eye-View (BEV)-based methods can achieve real-time inference. To overcome this issue, we develop an effective 3D-to-BEV knowledge distillation method that transfers rich knowledge from 3D voxel-based models to BEV-based models. Our framework mainly consists of two modules: the voxel-to-pillar distillation module and the label-weight distillation module. Voxel-to-pillar distillation distills sparse 3D features to BEV features for middle layers to make the BEV-based model aware of more structural and geometric information. Label-weight distillation helps the model pay more attention to regions with more height information. Finally, we conduct experiments on the SemanticKITTI dataset and Paris-Lille-3D. The results on SemanticKITTI show more than 5% improvement on the test set, especially for classes such as motorcycle and person, with more than 15% improvement. The code can be accessed at https://github.com/fengjiang5/Knowledge-Distillation-from-Cylinder3D-to-PolarNet.
updated: Sat Apr 22 2023 13:03:19 GMT+0000 (UTC)
published: Sat Apr 22 2023 13:03:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト