arXiv reaDer
数ショットのセマンティックセグメンテーションのためのデュアルプロトタイプ対照学習
Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation
いくつかの注釈付きサンプルを使用してターゲット画像内の新しいクラスオブジェクトをセグメント化することを目的とした、少数ショットセマンティックセグメンテーション(FSS)の問題に対処します。プロトタイプベースのメトリック学習を組み込むことによって最近の進歩が見られましたが、既存のメソッドは、機能表現が不十分なため、極端なクラス内オブジェクトのバリエーションや意味的に類似したクラス間オブジェクトの下でパフォーマンスが制限されます。この問題に取り組むために、代表的なセマンティック機能を効果的にキャプチャするために、FSSタスクに合わせて調整されたデュアルプロトタイプ対照学習アプローチを提案します。主なアイデアは、プロトタイプの特徴空間でクラス内の距離を減らしながら、クラス間の距離を増やすことによって、プロトタイプをより識別力のあるものにすることです。この目的のために、最初に、トレーニング中にクラス対応のプロトタイプを格納する動的プロトタイプディクショナリを使用してクラス固有の対照的な損失を提示します。これにより、同じクラスのプロトタイプが類似し、異なるクラスのプロトタイプが異なるようになります。さらに、各エピソード内のセマンティッククラスの機能分布を圧縮することにより、見えないクラスへの一般化能力を強化するために、クラスにとらわれない対照損失を導入します。提案されたデュアルプロトタイプ対照学習アプローチは、PASCAL-5iおよびCOCO-20iデータセットの最先端のFSS手法よりも優れていることを示しています。コードはhttps://github.com/kwonjunn01/DPCL1で入手できます。
We address the problem of few-shot semantic segmentation (FSS), which aims to segment novel class objects in a target image with a few annotated samples. Though recent advances have been made by incorporating prototype-based metric learning, existing methods still show limited performance under extreme intra-class object variations and semantically similar inter-class objects due to their poor feature representation. To tackle this problem, we propose a dual prototypical contrastive learning approach tailored to the FSS task to capture the representative semanticfeatures effectively. The main idea is to encourage the prototypes more discriminative by increasing inter-class distance while reducing intra-class distance in prototype feature space. To this end, we first present a class-specific contrastive loss with a dynamic prototype dictionary that stores the class-aware prototypes during training, thus enabling the same class prototypes similar and the different class prototypes to be dissimilar. Furthermore, we introduce a class-agnostic contrastive loss to enhance the generalization ability to unseen classes by compressing the feature distribution of semantic class within each episode. We demonstrate that the proposed dual prototypical contrastive learning approach outperforms state-of-the-art FSS methods on PASCAL-5i and COCO-20i datasets. The code is available at:https://github.com/kwonjunn01/DPCL1.
updated: Tue Nov 09 2021 08:14:50 GMT+0000 (UTC)
published: Tue Nov 09 2021 08:14:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト