arXiv reaDer
任意の点群での3D機能の自己教師あり事前トレーニング
Self-Supervised Pretraining of 3D Features on any Point-Cloud
大きなラベル付きデータセットでの事前トレーニングは、2Dオブジェクト認識、ビデオ分類などの多くのコンピュータービジョンタスクで優れたパフォーマンスを実現するための前提条件です。ただし、最先端の方法でモデルを最初からトレーニングする3D認識タスクでは、事前トレーニングは広く使用されていません。 。主な理由は、3Dデータの取得が難しく、ラベル付けに時間がかかるため、大きな注釈付きデータセットがないことです。 3Dレジストレーションなしで、さまざまなセンサーによって取得された、シングルビューまたはマルチビュー、屋内または屋外の3Dデータを処理できる単純な自己監視関連の方法を紹介します。標準の点群とボクセルベースのモデルアーキテクチャを事前トレーニングし、共同事前トレーニングによってパフォーマンスがさらに向上することを示します。オブジェクト検出、セマンティックセグメンテーション、オブジェクト分類の9つのベンチマークでモデルを評価します。これらのベンチマークでは、最先端の結果が得られ、教師あり事前トレーニングよりも優れたパフォーマンスを発揮します。 ScanNet(69.0%mAP)およびSUNRGBD(63.5%mAP)でのオブジェクト検出のための新しい最先端技術を設定しました。事前にトレーニングされたモデルはラベル効率が高く、例がほとんどないクラスのパフォーマンスが向上します。
Pretraining on large labeled datasets is a prerequisite to achieve good performance in many computer vision tasks like 2D object recognition, video classification etc. However, pretraining is not widely used for 3D recognition tasks where state-of-the-art methods train models from scratch. A primary reason is the lack of large annotated datasets because 3D data is both difficult to acquire and time consuming to label. We present a simple self-supervised pertaining method that can work with any 3D data - single or multiview, indoor or outdoor, acquired by varied sensors, without 3D registration. We pretrain standard point cloud and voxel based model architectures, and show that joint pretraining further improves performance. We evaluate our models on 9 benchmarks for object detection, semantic segmentation, and object classification, where they achieve state-of-the-art results and can outperform supervised pretraining. We set a new state-of-the-art for object detection on ScanNet (69.0% mAP) and SUNRGBD (63.5% mAP). Our pretrained models are label efficient and improve performance for classes with few examples.
updated: Thu Jan 07 2021 18:55:21 GMT+0000 (UTC)
published: Thu Jan 07 2021 18:55:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト