arXiv reaDer
Complementary Patch for Weakly Supervised Semantic Segmentation
画像レベルのラベルに基づく弱教師ありセマンティックセグメンテーション(WSSS)は、クラスアクティベーションマップ(CAM)の出力を利用して、セマンティックセグメンテーションの疑似ラベルを生成することで大幅に進歩しました。ただし、CAMは少数の領域からシードを検出するだけであり、セマンティックセグメンテーションの疑似マスクとして機能するには不十分な場合があります。本論文では、CAMにおけるオブジェクト領域の拡張を情報の増加として定式化する。情報理論の観点から、新しい補完パッチ(CP)表現を提案し、補完的な非表示(パッチ)部分を持つ入力画像のペア、つまりCPペアによるCAMの合計の情報がまたはよりも大きいことを証明します。ベースラインCAMの情報と同じです。したがって、CPペアによって生成されたCAMの合計と元のCAMとの間のギャップを狭めることにより、オブジェクトシードに関連するより多くの情報を備えたCAMを取得できます。トリプレットネットワークと3つの正則化関数によって実装されるCPネットワーク(CPN)を提案します。 CAMの品質をさらに向上させるために、ピクセル領域相関モジュール(PRCM)を提案し、機能マップとCAMの間のオブジェクト領域関係を使用してコンテキスト情報を拡張します。 PASCAL VOC 2012データセットの実験結果は、提案された方法がWSSSの新しい最先端を実現し、CP表現とCPNの有効性を検証していることを示しています。
Weakly Supervised Semantic Segmentation (WSSS) based on image-level labels has been greatly advanced by exploiting the outputs of Class Activation Map (CAM) to generate the pseudo labels for semantic segmentation. However, CAM merely discovers seeds from a small number of regions, which may be insufficient to serve as pseudo masks for semantic segmentation. In this paper, we formulate the expansion of object regions in CAM as an increase in information. From the perspective of information theory, we propose a novel Complementary Patch (CP) Representation and prove that the information of the sum of the CAMs by a pair of input images with complementary hidden (patched) parts, namely CP Pair, is greater than or equal to the information of the baseline CAM. Therefore, a CAM with more information related to object seeds can be obtained by narrowing down the gap between the sum of CAMs generated by the CP Pair and the original CAM. We propose a CP Network (CPN) implemented by a triplet network and three regularization functions. To further improve the quality of the CAMs, we propose a Pixel-Region Correlation Module (PRCM) to augment the contextual information by using object-region relations between the feature maps and the CAMs. Experimental results on the PASCAL VOC 2012 datasets show that our proposed method achieves a new state-of-the-art in WSSS, validating the effectiveness of our CP Representation and CPN.
updated: Mon Aug 09 2021 07:50:54 GMT+0000 (UTC)
published: Mon Aug 09 2021 07:50:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト