arXiv reaDer
GaPro: 擬似ラベラーとしてガウス過程を使用したボックス監視型 3D 点群インスタンス セグメンテーション
GaPro: Box-Supervised 3D Point Cloud Instance Segmentation Using Gaussian Processes as Pseudo Labelers
3D 点群 (3DIS) 上のインスタンスのセグメンテーションは、コンピューター ビジョンにおける長年の課題であり、最先端の手法は主に完全な監視に基づいています。グラウンド トゥルースの密なインスタンス マスクに注釈を付けるのは面倒でコストがかかるため、弱い監視で 3DIS を解決することがより現実的になってきました。この論文では、軸に合わせた 3D バウンディング ボックス監視を使用した 3D 点群の新しいインスタンス セグメンテーションである GaPro を提案します。私たちの 2 段階のアプローチには、ボックス アノテーションから擬似ラベルを生成し、結果として得られたラベルを使用して 3DIS ネットワークをトレーニングすることが含まれます。さらに、自己トレーニング戦略を採用して、メソッドのパフォーマンスをさらに向上させます。境界ボックスから擬似インスタンス マスクを生成し、それらが重なった場合のあいまいさを解決する効果的なガウス プロセスを考案し、その結果、不確実性の値を持つ擬似インスタンス マスクが生成されます。私たちの実験では、GaPro が以前の弱く監視された 3D インスタンスのセグメンテーション手法を上回り、最先端の完全に監視された手法と比較して競争力のあるパフォーマンスを備えていることが示されました。さらに、トレーニングに疑似ラベルを使用することで、さまざまな最新の完全教師付き手法を弱い監視タスクに適応できるという、アプローチの堅牢性を実証します。ソース コードとトレーニング済みモデルは https://github.com/VinAIResearch/GaPro で入手できます。
Instance segmentation on 3D point clouds (3DIS) is a longstanding challenge in computer vision, where state-of-the-art methods are mainly based on full supervision. As annotating ground truth dense instance masks is tedious and expensive, solving 3DIS with weak supervision has become more practical. In this paper, we propose GaPro, a new instance segmentation for 3D point clouds using axis-aligned 3D bounding box supervision. Our two-step approach involves generating pseudo labels from box annotations and training a 3DIS network with the resulting labels. Additionally, we employ the self-training strategy to improve the performance of our method further. We devise an effective Gaussian Process to generate pseudo instance masks from the bounding boxes and resolve ambiguities when they overlap, resulting in pseudo instance masks with their uncertainty values. Our experiments show that GaPro outperforms previous weakly supervised 3D instance segmentation methods and has competitive performance compared to state-of-the-art fully supervised ones. Furthermore, we demonstrate the robustness of our approach, where we can adapt various state-of-the-art fully supervised methods to the weak supervision task by using our pseudo labels for training. The source code and trained models are available at https://github.com/VinAIResearch/GaPro.
updated: Tue Jul 25 2023 04:43:22 GMT+0000 (UTC)
published: Tue Jul 25 2023 04:43:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト