弱い教師付き画像セグメンテーションは、高価なピクセルごとのラベル付けを回避することを目的として、最近ますます研究の注目を集めています。この論文では、トレーニングのターゲットごとに 1 つのランダムなポイント アノテーションのみを使用して、高品質のパノラマ予測を達成する効果的な方法、つまり Point2Mask を紹介します。具体的には、パノプティック擬似マスクの生成を最適トランスポート (OT) 問題として定式化し、各グラウンド トゥルース (gt) ポイント ラベルとピクセル サンプルをそれぞれラベル サプライヤーとコンシューマーとして定義します。輸送コストは、導入されたタスク指向マップによって計算されます。このマップは、さまざまな物やもののターゲット間のカテゴリごとおよびインスタンスごとの違いに焦点を当てています。さらに、各 gt ポイントサプライヤーに正確なユニット番号を設定するために、セントロイドベースのスキームが提案されています。したがって、擬似マスクの生成は、全体的に最小限の輸送コストで最適な輸送計画を見つけることに変換され、これはシンホーン・ノップ反復によって解決できます。 Pascal VOC および COCO に関する実験結果は、ポイント教師ありパノプティック セグメンテーションに対する私たちが提案する Point2Mask アプローチの有望なパフォーマンスを示しています。ソースコードはhttps://github.com/LiWentomng/Point2Maskから入手できます。
Weakly-supervised image segmentation has recently attracted increasing research attentions, aiming to avoid the expensive pixel-wise labeling. In this paper, we present an effective method, namely Point2Mask, to achieve high-quality panoptic prediction using only a single random point annotation per target for training. Specifically, we formulate the panoptic pseudo-mask generation as an Optimal Transport (OT) problem, where each ground-truth (gt) point label and pixel sample are defined as the label supplier and consumer, respectively. The transportation cost is calculated by the introduced task-oriented maps, which focus on the category-wise and instance-wise differences among the various thing and stuff targets. Furthermore, a centroid-based scheme is proposed to set the accurate unit number for each gt point supplier. Hence, the pseudo-mask generation is converted into finding the optimal transport plan at a globally minimal transportation cost, which can be solved via the Sinkhorn-Knopp Iteration. Experimental results on Pascal VOC and COCO demonstrate the promising performance of our proposed Point2Mask approach to point-supervised panoptic segmentation. Source code is available at: https://github.com/LiWentomng/Point2Mask.