既存の点群ベースの3Dオブジェクト検出方法のパフォーマンスは、大規模で高品質な3Dアノテーションに大きく依存しています。ただし、そのような注釈は、面倒で収集に費用がかかることがよくあります。半教師あり学習は、データ注釈の問題を軽減するための優れた代替手段ですが、3Dオブジェクト検出ではほとんど未踏のままです。半教師付き画像分類タスクにおける自己感知技術の最近の成功に触発され、SESS、自己感知半教師付き3Dオブジェクト検出フレームワークを提案します。具体的には、完全な摂動スキームを設計して、ラベル付けされていない新しい目に見えないデータに関するネットワークの一般化を強化します。さらに、3つの一貫性の損失を提案して、2組の予測された3Dオブジェクト提案間の一貫性を強化し、オブジェクトの構造と意味的不変性の学習を促進します。 SUN RGB-DおよびScanNetデータセットで行われた広範な実験は、誘導およびトランスダクティブの両方の半教師あり3Dオブジェクト検出におけるSESSの有効性を示しています。当社のSESSは、50%のラベル付きデータのみを使用することにより、最先端の完全に監視された方法と比較して競争力のあるパフォーマンスを実現します。コードはhttps://github.com/Na-Z/sessで入手できます。
The performance of existing point cloud-based 3D object detection methods heavily relies on large-scale high-quality 3D annotations. However, such annotations are often tedious and expensive to collect. Semi-supervised learning is a good alternative to mitigate the data annotation issue, but has remained largely unexplored in 3D object detection. Inspired by the recent success of self-ensembling technique in semi-supervised image classification task, we propose SESS, a self-ensembling semi-supervised 3D object detection framework. Specifically, we design a thorough perturbation scheme to enhance generalization of the network on unlabeled and new unseen data. Furthermore, we propose three consistency losses to enforce the consistency between two sets of predicted 3D object proposals, to facilitate the learning of structure and semantic invariances of objects. Extensive experiments conducted on SUN RGB-D and ScanNet datasets demonstrate the effectiveness of SESS in both inductive and transductive semi-supervised 3D object detection. Our SESS achieves competitive performance compared to the state-of-the-art fully-supervised method by using only 50% labeled data. Our code is available at https://github.com/Na-Z/sess.