セマンティックセグメンテーションは、密にラベル付けされたデータがない場合、困難な作業です。画像レベルのラベルが付いたクラスアクティベーションマップ(CAM)のみに依存すると、セグメンテーションの監視が不十分になります。したがって、以前の研究では、事前にトレーニングされたモデルを検討して、疑似セグメンテーションラベルの生成をガイドする粗い顕著性マップを作成します。ただし、一般的に使用されるオフラインヒューリスティック生成プロセスでは、これらの粗い顕著性マップの利点を十分に活用できません。有意なタスク間相関に動機付けられて、AuxSegNetと呼ばれる新しい弱教師ありマルチタスクフレームワークを提案し、顕著性検出とマルチラベル画像分類を補助タスクとして活用して、画像レベルのグラウンドのみを使用したセマンティックセグメンテーションの主要タスクを改善します-真実のラベル。それらの同様の構造化されたセマンティクスに触発されて、顕著性とセグメンテーション表現からクロスタスクグローバルピクセルレベルアフィニティマップを学習することも提案します。学習したタスク間の親和性を使用して、顕著性の予測を改善し、CAMマップを伝播して、両方のタスクに改善された疑似ラベルを提供できます。疑似ラベル更新とクロスタスクアフィニティ学習の間の相互ブーストにより、セグメンテーションパフォーマンスの反復的な改善が可能になります。広範な実験は、提案された補助学習ネットワーク構造とクロスタスクアフィニティ学習方法の有効性を示しています。提案されたアプローチは、挑戦的なPASCAL VOC2012およびMSCOCOベンチマークで、最先端の弱く監視されたセグメンテーションパフォーマンスを実現します。
Semantic segmentation is a challenging task in the absence of densely labelled data. Only relying on class activation maps (CAM) with image-level labels provides deficient segmentation supervision. Prior works thus consider pre-trained models to produce coarse saliency maps to guide the generation of pseudo segmentation labels. However, the commonly used off-line heuristic generation process cannot fully exploit the benefits of these coarse saliency maps. Motivated by the significant inter-task correlation, we propose a novel weakly supervised multi-task framework termed as AuxSegNet, to leverage saliency detection and multi-label image classification as auxiliary tasks to improve the primary task of semantic segmentation using only image-level ground-truth labels. Inspired by their similar structured semantics, we also propose to learn a cross-task global pixel-level affinity map from the saliency and segmentation representations. The learned cross-task affinity can be used to refine saliency predictions and propagate CAM maps to provide improved pseudo labels for both tasks. The mutual boost between pseudo label updating and cross-task affinity learning enables iterative improvements on segmentation performance. Extensive experiments demonstrate the effectiveness of the proposed auxiliary learning network structure and the cross-task affinity learning method. The proposed approach achieves state-of-the-art weakly supervised segmentation performance on the challenging PASCAL VOC 2012 and MS COCO benchmarks.