arXiv reaDer
Weakly Supervised Semantic Segmentation by Pixel-to-Prototype Contrast
画像レベルの弱教師ありセグメンテーションセグメンテーション(WSSS)は、クラスアクティベーションマップ(CAM)を基盤として大きな進歩を遂げましたが、分類とセグメンテーションの間の大きな教師ありギャップは、セグメンテーション用のより完全で正確な疑似マスクを生成するためのモデルを依然として妨げています。この研究では、監督のギャップを狭めるために、2つの暗黙的で直感的な制約、つまり、クロスビュー機能のセマンティック整合性とクラス内(クラス間)コンパクト性(分散)を調査します。この目的のために、我々は、画像の異なるビュー間および単一ビューごとにそれぞれ実行される、2つの新しいピクセルからプロトタイプへのコントラスト正則化項を提案します。さらに、セミハードプロトタイプマイニングとハードピクセルサンプリングという2つのサンプルマイニング戦略を採用して、正確なピクセル単位のラベルがないために発生する不正確なコントラストを減らしながら、ハードな例をより有効に活用します。私たちの方法は、ベースネットワークを変更することなく、既存のWSSSモデルにシームレスに組み込むことができ、余分な推論の負担は発生しません。標準ベンチマークでの実験は、私たちの方法が一貫して2つの強力なベースラインを大幅に改善することを示しており、私たちの方法の有効性を示しています。具体的には、SEAMの上に構築され、PASCAL VOC 2012の初期シードmIoUを55.4%から61.5%に改善します。さらに、私たちの方法を武器に、EPSのセグメンテーションmIoUを70.8%から73.6%に増やし、新しい最先端を実現します。
Though image-level weakly supervised semantic segmentation (WSSS) has achieved great progress with Class Activation Map (CAM) as the cornerstone, the large supervision gap between classification and segmentation still hampers the model to generate more complete and precise pseudo masks for segmentation. In this study, we explore two implicit but intuitive constraints, i.e., cross-view feature semantic consistency and intra(inter)-class compactness(dispersion), to narrow the supervision gap. To this end, we propose two novel pixel-to-prototype contrast regularization terms that are conducted cross different views and within per single view of an image, respectively. Besides, we adopt two sample mining strategies, named semi-hard prototype mining and hard pixel sampling, to better leverage hard examples while reducing incorrect contrasts caused due to the absence of precise pixel-wise labels. Our method can be seamlessly incorporated into existing WSSS models without any changes to the base network and does not incur any extra inference burden. Experiments on standard benchmark show that our method consistently improves two strong baselines by large margins, demonstrating the effectiveness of our method. Specifically, built on top of SEAM, we improve the initial seed mIoU on PASCAL VOC 2012 from 55.4% to 61.5%. Moreover, armed with our method, we increase the segmentation mIoU of EPS from 70.8% to 73.6%, achieving new state-of-the-art.
updated: Thu Oct 14 2021 01:44:57 GMT+0000 (UTC)
published: Thu Oct 14 2021 01:44:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト