完全に監視されたセマンティックセグメンテーションには、ピクセル単位のクリーンなアノテーションが必要です。これは、取得するのに手間とコストがかかります。この論文では、高度なセンサーで取得するのがはるかに簡単な、利用可能な3D情報を含むスパースバウンディングボックスラベルを組み込むことにより、弱教師あり2Dセマンティックセグメンテーションモデルを提案します。 2D-3Dセマンティクス(2D-3D-S)データセットのサブセットに境界ボックスで手動でラベルを付け、2D-3D推論モジュールを導入して、正確なピクセル単位のセグメント提案マスクを生成しました。 3D情報に基づいて、最初にオブジェクトのポイントクラウドを生成し、各ポイントのオブジェクト性確率スコアを計算します。次に、オブジェクト性の確率を持つ点群を2D画像に投影し、その後、セマンティックセグメンテーションネットワークをトレーニングするための疑似ラベルとして扱われるセグメント提案を取得するための改良ステップが続きます。私たちの方法は再帰的に機能し、上記のセグメント提案を徐々に改良します。 2D-3D-Sデータセットに関する広範な実験結果は、トレーニング画像の小さなサブセットでのみ境界ボックスラベルが使用可能な場合、提案された方法が正確なセグメント提案を生成できることを示しています。最近の最先端の方法との性能比較は、私たちの方法の有効性をさらに示しています。
Pixel-wise clean annotation is necessary for fully-supervised semantic segmentation, which is laborious and expensive to obtain. In this paper, we propose a weakly supervised 2D semantic segmentation model by incorporating sparse bounding box labels with available 3D information, which is much easier to obtain with advanced sensors. We manually labeled a subset of the 2D-3D Semantics(2D-3D-S) dataset with bounding boxes, and introduce our 2D-3D inference module to generate accurate pixel-wise segment proposal masks. Guided by 3D information, we first generate a point cloud of objects and calculate objectness probability score for each point. Then we project the point cloud with objectness probabilities back to 2D images followed by a refinement step to obtain segment proposals, which are treated as pseudo labels to train a semantic segmentation network. Our method works in a recursive manner to gradually refine the above-mentioned segment proposals. Extensive experimental results on the 2D-3D-S dataset show that the proposed method can generate accurate segment proposals when bounding box labels are available on only a small subset of training images. Performance comparison with recent state-of-the-art methods further illustrates the effectiveness of our method.