arXiv reaDer
セルフサポート少数ショットセマンティックセグメンテーション
Self-Support Few-Shot Semantic Segmentation
既存の数ショットのセグメンテーション方法は、サポートクエリマッチングフレームワークに基づいて大きな進歩を遂げました。しかし、彼らはまだ提供されている数ショットのサポートからのクラス内のバリエーションの限られたカバレッジにひどく苦しんでいます。同じオブジェクトに属するピクセルは同じクラスの異なるオブジェクトのピクセルよりも類似しているという単純なゲシュタルト原理に動機付けられて、この問題を軽減するための新しいセルフサポートマッチング戦略を提案します。クエリのプロトタイプは、信頼性の高いクエリ予測から収集されます。この戦略は、クエリオブジェクトの一貫した基本的な特性を効果的にキャプチャできるため、クエリの機能に適切に一致します。また、自己サポートマッチング手順をさらに容易にするために、適応型自己サポートバックグラウンドプロトタイプ生成モジュールと自己サポート損失を提案します。当社のセルフサポートネットワークは、プロトタイプの品質を大幅に向上させ、より強力なバックボーンとより多くのサポートからより多くの改善をもたらし、複数のデータセットでSOTAを実現します。コードはhttps://github.com/fanq15/SSPにあります。
Existing few-shot segmentation methods have achieved great progress based on the support-query matching framework. But they still heavily suffer from the limited coverage of intra-class variations from the few-shot supports provided. Motivated by the simple Gestalt principle that pixels belonging to the same object are more similar than those to different objects of same class, we propose a novel self-support matching strategy to alleviate this problem, which uses query prototypes to match query features, where the query prototypes are collected from high-confidence query predictions. This strategy can effectively capture the consistent underlying characteristics of the query objects, and thus fittingly match query features. We also propose an adaptive self-support background prototype generation module and self-support loss to further facilitate the self-support matching procedure. Our self-support network substantially improves the prototype quality, benefits more improvement from stronger backbones and more supports, and achieves SOTA on multiple datasets. Codes are at https://github.com/fanq15/SSP.
updated: Sat Jul 23 2022 16:28:07 GMT+0000 (UTC)
published: Sat Jul 23 2022 16:28:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト