多くの3D検出作業は、RGB画像と点群の間の補完的な関係を活用していますが、半教師ありオブジェクト認識のより広範なフレームワークの開発は、マルチモーダル融合の影響を受けません。現在の方法では、画像と点群のペアのフレームが利用可能であるにもかかわらず、2Dおよび3Dの半教師あり学習用の独立したパイプラインが開発されています。各センサーの異なる特性により、センサーがさまざまなオブジェクトの検出に偏ることを観察し、2Dおよび3Dモダリティでの共同半教師あり学習のための柔軟なフレームワークであるDetMatchを提案します。両方のセンサーで検出されたオブジェクトを識別することにより、パイプラインは、より強力なパフォーマンスを示し、単一モダリティエラーの伝播を妨げる、よりクリーンで堅牢な疑似ラベルのセットを生成します。さらに、RGB画像のより豊富なセマンティクスを活用して、誤った3Dクラスの予測を修正し、3Dボックスのローカリゼーションを改善します。やりがいのあるKITTIおよびWaymoデータセットを評価して、強力な半教師あり学習方法を改善し、より高品質の疑似ラベルを観察します。コードはhttps://github.com/Divadi/DetMatchでリリースされます
While numerous 3D detection works leverage the complementary relationship between RGB images and point clouds, developments in the broader framework of semi-supervised object recognition remain uninfluenced by multi-modal fusion. Current methods develop independent pipelines for 2D and 3D semi-supervised learning despite the availability of paired image and point cloud frames. Observing that the distinct characteristics of each sensor cause them to be biased towards detecting different objects, we propose DetMatch, a flexible framework for joint semi-supervised learning on 2D and 3D modalities. By identifying objects detected in both sensors, our pipeline generates a cleaner, more robust set of pseudo-labels that both demonstrates stronger performance and stymies single-modality error propagation. Further, we leverage the richer semantics of RGB images to rectify incorrect 3D class predictions and improve localization of 3D boxes. Evaluating on the challenging KITTI and Waymo datasets, we improve upon strong semi-supervised learning methods and observe higher quality pseudo-labels. Code will be released at https://github.com/Divadi/DetMatch