この論文では、3Dオブジェクト検出のための弱教師ありアプローチを提案します。これにより、位置レベルの注釈(つまりオブジェクト中心の注釈)を使用して強力な3D検出器をトレーニングできます。ボックスの注釈から中心への情報損失を改善するために、私たちの方法、つまりBack to Reality(BR)は、合成3D形状を利用して、弱いラベルをより強力な監視として完全に注釈が付けられた仮想シーンに変換します。実際のラベルを補完および改良するための完璧な仮想ラベル。具体的には、最初に、位置レベルの注釈から抽出された粗いシーンレイアウトに従って、3D形状を物理的に合理的な仮想シーンにアセンブルします。次に、仮想から現実へのドメイン適応方法を適用して現実に戻ります。これは、弱いラベルを改良し、さらに仮想シーンを使用した検出器のトレーニングを監視します。さらに、BRの可能性をよりよく示すために、オブジェクトサイズの多様性を備えた屋内3Dオブジェクト検出のより挑戦的なベンチマークを提案します。ラベル付け作業の5%未満で、広く使用されているScanNetデータセットで、いくつかの一般的な完全監視ありアプローチと同等の検出パフォーマンスを実現します。コードはhttps://github.com/xuxw98/BackToRealityで入手できます。
In this paper, we propose a weakly-supervised approach for 3D object detection, which makes it possible to train strong 3D detector with position-level annotations (i.e. annotations of object centers). In order to remedy the information loss from box annotations to centers, our method, namely Back to Reality (BR), makes use of synthetic 3D shapes to convert the weak labels into fully-annotated virtual scenes as stronger supervision, and in turn utilizes the perfect virtual labels to complement and refine the real labels. Specifically, we first assemble 3D shapes into physically reasonable virtual scenes according to the coarse scene layout extracted from position-level annotations. Then we go back to reality by applying a virtual-to-real domain adaptation method, which refine the weak labels and additionally supervise the training of detector with the virtual scenes. Furthermore, we propose a more challenging benckmark for indoor 3D object detection with more diversity in object sizes to better show the potential of BR. With less than 5% of the labeling labor, we achieve comparable detection performance with some popular fully-supervised approaches on the widely used ScanNet dataset. Code is available at: https://github.com/xuxw98/BackToReality