arXiv reaDer
SCNet:自己対照的な背景プロトタイプによる少数ショットのセマンティックセグメンテーションの強化
SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive Background Prototypes
少数ショットのセマンティックセグメンテーションは、クエリイメージ内の新規クラスのオブジェクトを、サポートイメージ内の注釈付きの例をいくつか使用してセグメント化することを目的としています。高度なソリューションのほとんどは、各ピクセルを学習済みの前景プロトタイプに一致させることでセグメンテーションを実行するメトリック学習フレームワークを活用しています。ただし、このフレームワークは、前景のプロトタイプのみを使用したサンプルペアの構築が不完全であるため、分類に偏りがあります。この問題に対処するために、この論文では、補完的な自己対照タスクを数ショットのセマンティックセグメンテーションに導入します。私たちの新しいモデルは、前景または背景に関係なく、領域内のピクセルをこの領域のプロトタイプに関連付けることができます。この目的のために、クエリ画像から直接自己対照的な背景プロトタイプを生成します。これにより、完全なサンプルペアの構築が可能になり、補完的で補助的なセグメンテーションタスクを実行して、より優れたセグメンテーションモデルのトレーニングを実現できます。 PASCAL-5 ^ iとCOCO-20 ^ iに関する広範な実験は、私たちの提案の優位性を明確に示しています。推論効率を犠牲にすることなく、私たちのモデルは、数ショットのセマンティックセグメンテーションの1ショットと5ショットの両方の設定で結果の状態を実現します。
Few-shot semantic segmentation aims to segment novel-class objects in a query image with only a few annotated examples in support images. Most of advanced solutions exploit a metric learning framework that performs segmentation through matching each pixel to a learned foreground prototype. However, this framework suffers from biased classification due to incomplete construction of sample pairs with the foreground prototype only. To address this issue, in this paper, we introduce a complementary self-contrastive task into few-shot semantic segmentation. Our new model is able to associate the pixels in a region with the prototype of this region, no matter they are in the foreground or background. To this end, we generate self-contrastive background prototypes directly from the query image, with which we enable the construction of complete sample pairs and thus a complementary and auxiliary segmentation task to achieve the training of a better segmentation model. Extensive experiments on PASCAL-5^i and COCO-20^i demonstrate clearly the superiority of our proposal. At no expense of inference efficiency, our model achieves state-of-the results in both 1-shot and 5-shot settings for few-shot semantic segmentation.
updated: Mon Apr 19 2021 11:21:47 GMT+0000 (UTC)
published: Mon Apr 19 2021 11:21:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト