arXiv reaDer
Saliency Guided Self-attention Network for Weakly and Semi-supervised Semantic Segmentation
 画像レベルのラベルのみを使用した弱監視セマンティックセグメンテーション(WSSS)は、注釈コストを大幅に削減できるため、かなりの研究関心を集めています。ただし、そのパフォーマンスは、完全に監視されたカウンターパートよりも劣っています。パフォーマンスのギャップを緩和するために、WSSS問題に対処するために、顕著性ガイド付き自己注意ネットワーク(SGAN)を提案します。導入された自己注意メカニズムは、豊富で広範なコンテキスト情報をキャプチャできますが、予期しない領域への注意を誤って広める可能性があります。このメカニズムを弱い監視下で効果的に機能させるために、クラスに依存しない顕著性優先順位を自己注意メカニズムに統合し、SGANの追加の監視としてクラス固有の注意キューを利用します。 SGANは、セグメンテーションパフォーマンスが向上するように、高密度で正確なローカライズキューを生成できます。さらに、追加の監視を部分的にラベル付けされた根拠に置き換えるだけで、SGANは半監視セマンティックセグメンテーションに対しても効果的に機能します。 PASCAL VOC 2012およびCOCOデータセットの実験は、このアプローチが、弱くも半監視された設定でも、他のすべての最先端の方法よりも優れていることを示しています。
Weakly supervised semantic segmentation (WSSS) using only image-level labels can greatly reduce the annotation cost and therefore has attracted considerable research interest. However, its performance is still inferior to the fully supervised counterparts. To mitigate the performance gap, we propose a saliency guided self-attention network (SGAN) to address the WSSS problem. The introduced self-attention mechanism is able to capture rich and extensive contextual information but may mis-spread attentions to unexpected regions. In order to enable this mechanism to work effectively under weak supervision, we integrate class-agnostic saliency priors into the self-attention mechanism and utilize class-specific attention cues as an additional supervision for SGAN. Our SGAN is able to produce dense and accurate localization cues so that the segmentation performance is boosted. Moreover, by simply replacing the additional supervisions with partially labeled ground-truth, SGAN works effectively for semi-supervised semantic segmentation as well. Experiments on the PASCAL VOC 2012 and COCO datasets show that our approach outperforms all other state-of-the-art methods in both weakly and semi-supervised settings.
updated: Sun Jan 12 2020 08:24:38 GMT+0000 (UTC)
published: Sat Oct 12 2019 03:17:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト