弱教師ありセマンティック セグメンテーション (WSSS) は、クラス レベルのラベルからセグメンテーション ラベルを学習することを目的とした挑戦的なタスクです。文献では、クラス アクティベーション マップ (CAM) から取得した情報を活用することは、WSSS 研究に広く使用されています。ただし、CAM は分類ネットワークから取得されるため、オブジェクトの最も識別力の高い部分に関心があり、セグメンテーション タスクの完全ではない事前情報が生成されます。この研究では、セグメンテーション ラベルを使用してよりコヒーレントな CAM を取得するために、修正されたエンコーダー デコーダー ベースのセグメンテーション モデルで反復アプローチを採用するフレームワークを提案します。これは、分類タスクとセグメンテーション タスクを同時にサポートします。グラウンド トゥルース セグメンテーション ラベルが指定されていないため、同じモデルが密な条件付きランダム フィールド (dCRF) を使用して疑似セグメンテーション ラベルも生成します。その結果、提案されたフレームワークは反復的な自己改善モデルになります。 DeepLabv3 および UNet モデルで実行された実験は、Pascal VOC12 データセットで大幅な向上を示し、DeepLabv3 アプリケーションは現在の最先端のメトリックを 2.5% 増加させます。実験に関連する実装は、https://github.com/cenkbircanoglu/isim で見つけることができます。
Weakly Supervised Semantic Segmentation (WSSS) is a challenging task aiming to learn the segmentation labels from class-level labels. In the literature, exploiting the information obtained from Class Activation Maps (CAMs) is widely used for WSSS studies. However, as CAMs are obtained from a classification network, they are interested in the most discriminative parts of the objects, producing non-complete prior information for segmentation tasks. In this study, to obtain more coherent CAMs with segmentation labels, we propose a framework that employs an iterative approach in a modified encoder-decoder-based segmentation model, which simultaneously supports classification and segmentation tasks. As no ground-truth segmentation labels are given, the same model also generates the pseudo-segmentation labels with the help of dense Conditional Random Fields (dCRF). As a result, the proposed framework becomes an iterative self-improved model. The experiments performed with DeepLabv3 and UNet models show a significant gain on the Pascal VOC12 dataset, and the DeepLabv3 application increases the current state-of-the-art metric by %2.5. The implementation associated with the experiments can be found: https://github.com/cenkbircanoglu/isim.