arXiv reaDer
自己監視型LIDARシーンフローバックボーンを使用した3Dオブジェクト検出
3D Object Detection with a Self-supervised Lidar Scene Flow Backbone
最先端のLIDARベースの3Dオブジェクト検出方法は、教師あり学習と大きなラベル付きデータセットに依存しています。ただし、LIDARデータに注釈を付けることはリソースを消費し、教師あり学習のみに依存するため、トレーニング済みモデルの適用性が制限されます。自己監視型のトレーニング戦略は、ダウンストリームの3Dビジョンタスクの一般的なポイントクラウドバックボーンモデルを学習することで、これらの問題を軽減できます。このような背景に対して、自己教師ありマルチフレームフロー表現とシングルフレーム3D検出仮説の関係を示します。私たちの主な貢献は、学習した流れと動きの表現を活用し、自己監視バックボーンと教師あり3D検出ヘッドを組み合わせたものです。最初に、自己監視ありシーンフロー推定モデルがサイクルの一貫性でトレーニングされます。次に、このモデルの点群エンコーダーは、単一フレームの3Dオブジェクト検出ヘッドモデルのバックボーンとして使用されます。この2番目の3Dオブジェクト検出モデルは、モーション表現を利用して、さまざまな動きのパターンを示す動的オブジェクトを区別する方法を学習します。 KITTIおよびnuScenesベンチマークでの実験は、提案された自己監視事前トレーニングが3D検出パフォーマンスを大幅に向上させることを示しています。 https://github.com/emecercelik/ssl-3d-detection.git
State-of-the-art lidar-based 3D object detection methods rely on supervised learning and large labeled datasets. However, annotating lidar data is resource-consuming, and depending only on supervised learning limits the applicability of trained models. Self-supervised training strategies can alleviate these issues by learning a general point cloud backbone model for downstream 3D vision tasks. Against this backdrop, we show the relationship between self-supervised multi-frame flow representations and single-frame 3D detection hypotheses. Our main contribution leverages learned flow and motion representations and combines a self-supervised backbone with a supervised 3D detection head. First, a self-supervised scene flow estimation model is trained with cycle consistency. Then, the point cloud encoder of this model is used as the backbone of a single-frame 3D object detection head model. This second 3D object detection model learns to utilize motion representations to distinguish dynamic objects exhibiting different movement patterns. Experiments on KITTI and nuScenes benchmarks show that the proposed self-supervised pre-training increases 3D detection performance significantly. https://github.com/emecercelik/ssl-3d-detection.git
updated: Tue Jul 19 2022 08:22:38 GMT+0000 (UTC)
published: Mon May 02 2022 07:53:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト