arXiv reaDer
サポート誘導グラフ畳み込みネットワークを使用した少数ショット セマンティック セグメンテーション
Few-shot Semantic Segmentation with Support-induced Graph Convolutional Network
少数ショット セマンティック セグメンテーション (FSS) は、注釈付きのサンプルをいくつか使用するだけで新しいオブジェクト セグメンテーションを実現することを目的としており、最近大きな進歩を遂げています。既存の FSS モデルのほとんどは、FSS に取り組むために、サポートとクエリの間の機能の一致に焦点を当てています。ただし、同じカテゴリのオブジェクト間の外観の違いは非常に大きくなる可能性があり、信頼性の低いフィーチャ マッチングとクエリ マスク予測につながります。この目的のために、クエリ画像の潜在的なコンテキスト構造を明示的に発掘するサポート誘導グラフ畳み込みネットワーク (SiGCN) を提案します。具体的には、サポート誘導型グラフ推論 (SiGR) モジュールを提案して、サポート誘導型 GCN を使用して、さまざまなセマンティック レベルで顕著なクエリ オブジェクト部分をキャプチャします。さらに、インスタンス関連付け (IA) モジュールは、サポート インスタンスとクエリ インスタンスの両方から高次のインスタンス コンテキストをキャプチャするように設計されています。提案された 2 つのモジュールを統合することにより、SiGCN は豊富なクエリ コンテキスト表現を学習できるため、外観のバリエーションに対してより堅牢になります。 PASCAL-5i および COCO-20i での広範な実験により、当社の SiGCN が最先端の性能を達成することが実証されています。
Few-shot semantic segmentation (FSS) aims to achieve novel objects segmentation with only a few annotated samples and has made great progress recently. Most of the existing FSS models focus on the feature matching between support and query to tackle FSS. However, the appearance variations between objects from the same category could be extremely large, leading to unreliable feature matching and query mask prediction. To this end, we propose a Support-induced Graph Convolutional Network (SiGCN) to explicitly excavate latent context structure in query images. Specifically, we propose a Support-induced Graph Reasoning (SiGR) module to capture salient query object parts at different semantic levels with a Support-induced GCN. Furthermore, an instance association (IA) module is designed to capture high-order instance context from both support and query instances. By integrating the proposed two modules, SiGCN can learn rich query context representation, and thus being more robust to appearance variations. Extensive experiments on PASCAL-5i and COCO-20i demonstrate that our SiGCN achieves state-of-the-art performance.
updated: Wed Mar 15 2023 09:06:48 GMT+0000 (UTC)
published: Mon Jan 09 2023 08:00:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト