特に画像レベルのラベルを使用してピクセルレベルの予測を監視する場合、弱教師ありセマンティックセグメンテーション(WSSS)は困難です。それらのギャップを埋めるために、通常、クラスアクティベーションマップ(CAM)が生成され、ピクセルレベルの疑似ラベルが提供されます。畳み込みニューラルネットワークのCAMは、部分的なアクティブ化に悩まされます。つまり、最も識別力のある領域のみがアクティブ化されます。一方、Transformerベースの方法は、長距離依存関係モデリングを使用してグローバルコンテキストを探索するのに非常に効果的であり、「部分的なアクティブ化」の問題を軽減する可能性があります。この論文では、最初のトランスベースのWSSSアプローチを提案し、勾配加重要素ごとのトランスアテンションマップ(GETAM)を紹介します。 GETAMは、すべてのフィーチャマップ要素の細かいスケールのアクティブ化を示し、トランスフォーマーレイヤー全体のオブジェクトのさまざまな部分を明らかにします。さらに、高品質の疑似ラベルを生成するために、アクティベーション対応のラベル補完モジュールを提案します。最後に、ダブルバックワード伝播を使用して、WSSSのエンドツーエンドフレームワークにメソッドを組み込みます。 PASCAL VOCとCOCOに関する広範な実験は、私たちの結果が最先端のエンドツーエンドのアプローチを大幅に上回り、ほとんどの多段階メソッドを上回っていることを示しています。ほとんどの多段階メソッド。
Weakly Supervised Semantic Segmentation (WSSS) is challenging, particularly when image-level labels are used to supervise pixel level prediction. To bridge their gap, a Class Activation Map (CAM) is usually generated to provide pixel level pseudo labels. CAMs in Convolutional Neural Networks suffer from partial activation ie, only the most discriminative regions are activated. Transformer based methods, on the other hand, are highly effective at exploring global context with long range dependency modeling, potentially alleviating the "partial activation" issue. In this paper, we propose the first transformer based WSSS approach, and introduce the Gradient weighted Element wise Transformer Attention Map (GETAM). GETAM shows fine scale activation for all feature map elements, revealing different parts of the object across transformer layers. Further, we propose an activation aware label completion module to generate high quality pseudo labels. Finally, we incorporate our methods into an end to end framework for WSSS using double backward propagation. Extensive experiments on PASCAL VOC and COCO demonstrate that our results beat the state-of-the-art end-to-end approaches by a significant margin, and outperform most multi-stage methods.m most multi-stage methods.