arXiv reaDer
豊富なプロトタイプ生成と反復予測強化による少数ショット セグメンテーション
Few-Shot Segmentation via Rich Prototype Generation and Recurrent Prediction Enhancement
プロトタイプの学習とデコーダーの構築は、少数ショットのセグメンテーションの鍵です。しかし、既存の方法では単一のプロトタイプ生成モードしか使用されず、さまざまなスケールのオブジェクトの扱いにくい問題に対処できません。さらに、以前の方法で採用された一方向の順伝播は、復号化プロセス中に登録された特徴からの情報希薄化を引き起こす可能性があります。この研究では、リッチ プロトタイプ生成モジュール (RPGM) と反復予測拡張モジュール (RPEM) を提案して、プロトタイプ学習パラダイムを強化し、少数ショット セグメンテーション用の統合メモリ拡張デコーダをそれぞれ構築します。具体的には、RPGM はスーパーピクセルと K-means クラスタリングを組み合わせて、補完的なスケール関係を持つ豊富なプロトタイプ機能を生成し、サポート イメージとクエリ イメージの間のスケール ギャップを適応させます。 RPEM は、再帰メカニズムを利用してラウンドウェイ伝搬デコーダを設計します。このようにして、登録されたフィーチャはオブジェクト認識情報を継続的に提供できます。実験では、PASCAL-{5^i} と COCO-{20^i} の 2 つの一般的なベンチマークで、当社の方法が他の競合他社よりも一貫して優れていることが示されています。
Prototype learning and decoder construction are the keys for few-shot segmentation. However, existing methods use only a single prototype generation mode, which can not cope with the intractable problem of objects with various scales. Moreover, the one-way forward propagation adopted by previous methods may cause information dilution from registered features during the decoding process. In this research, we propose a rich prototype generation module (RPGM) and a recurrent prediction enhancement module (RPEM) to reinforce the prototype learning paradigm and build a unified memory-augmented decoder for few-shot segmentation, respectively. Specifically, the RPGM combines superpixel and K-means clustering to generate rich prototype features with complementary scale relationships and adapt the scale gap between support and query images. The RPEM utilizes the recurrent mechanism to design a round-way propagation decoder. In this way, registered features can provide object-aware information continuously. Experiments show that our method consistently outperforms other competitors on two popular benchmarks PASCAL-{5^i} and COCO-{20^i}.
updated: Mon Oct 03 2022 08:46:52 GMT+0000 (UTC)
published: Mon Oct 03 2022 08:46:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト