arXiv reaDer
グローバルおよびローカルの対照学習による少数ショットのセグメンテーション
Few-Shot Segmentation with Global and Local Contrastive Learning
この作業では、数ショットのセグメンテーションという難しいタスクに対処します。これまでの数ショットのセグメンテーション方法では、主にサポート画像の情報をクエリ画像のセグメンテーションのガイダンスとして使用していました。サポート画像とクエリ画像の間の相互参照を構築することを提案している作品もありますが、クエリ情報の抽出は依然としてサポート画像に依存しています。ここでは、クエリ自体から情報を個別に抽出して、数ショットのセグメンテーションタスクに役立てることを提案します。この目的のために、最初に、提案されたグローバル-ローカル対照学習を使用して、ラベルのない画像からクエリ情報を学習するための事前抽出器を提案します。次に、この事前抽出機能を使用して、事前に決定された一連の事前情報を抽出します。得られた事前分布を使用して、サポート機能との相互作用を実行するためのガイダンスとして、オブジェクトを特定するクエリ画像の事前領域マップを生成します。このようにして、クエリ情報の抽出はサポートブランチから切り離され、サポートによる制限を克服し、より有益なクエリの手がかりを取得して、より良い対話を実現できます。提案されたアプローチは、ベルやホイッスルなしで、PASCAL-5 ^ iおよびCOCOデータセットの数ショットセグメンテーションタスクの新しい最先端のパフォーマンスを実現します。
In this work, we address the challenging task of few-shot segmentation. Previous few-shot segmentation methods mainly employ the information of support images as guidance for query image segmentation. Although some works propose to build cross-reference between support and query images, their extraction of query information still depends on the support images. We here propose to extract the information from the query itself independently to benefit the few-shot segmentation task. To this end, we first propose a prior extractor to learn the query information from the unlabeled images with our proposed global-local contrastive learning. Then, we extract a set of predetermined priors via this prior extractor. With the obtained priors, we generate the prior region maps for query images, which locate the objects, as guidance to perform cross interaction with support features. In such a way, the extraction of query information is detached from the support branch, overcoming the limitation by support, and could obtain more informative query clues to achieve better interaction. Without bells and whistles, the proposed approach achieves new state-of-the-art performance for the few-shot segmentation task on PASCAL-5^i and COCO datasets.
updated: Wed Aug 11 2021 15:52:22 GMT+0000 (UTC)
published: Wed Aug 11 2021 15:52:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト