フューショット セマンティック セグメンテーション (FSS) は、少数の注釈のみを使用して目に見えないクラスをセグメント化する、クラスに依存しないモデルを形成することを目的としています。セマンティック特徴とプロトタイプ表現に限定された以前の方法では、粗いセグメンテーション粒度とトレインセットのオーバーフィッティングの問題がありました。この作業では、トランスフォーマー アーキテクチャに基づいて、階層的に分離されたマッチング ネットワーク (HDMNet) のマイニング ピクセル レベルのサポート相関を設計します。セルフ アテンション モジュールは、クエリ機能とサポート機能の間のカスケード マッチングを実現する手段として、階層的な高密度機能の確立を支援するために使用されます。さらに、トレインセットのオーバーフィッティングを軽減し、粗い解像度からの意味論的対応を利用して、きめの細かいセグメンテーションを強化する相関蒸留を導入するマッチング モジュールを提案します。私たちの方法は実験では適切に機能します。 COCO データセットのワンショット設定では 50.0%、5 ショット セグメンテーションでは 56.0% の mIoU をそれぞれ達成しました。コードはプロジェクトの Web サイトで入手できます。私たちの研究が、限られたアノテーションを持つ新しいクラスを適切に識別する必要がある、より広範な産業用途に役立つことを願っています。
Few-shot semantic segmentation (FSS) aims to form class-agnostic models segmenting unseen classes with only a handful of annotations. Previous methods limited to the semantic feature and prototype representation suffer from coarse segmentation granularity and train-set overfitting. In this work, we design Hierarchically Decoupled Matching Network (HDMNet) mining pixel-level support correlation based on the transformer architecture. The self-attention modules are used to assist in establishing hierarchical dense features, as a means to accomplish the cascade matching between query and support features. Moreover, we propose a matching module to reduce train-set overfitting and introduce correlation distillation leveraging semantic correspondence from coarse resolution to boost fine-grained segmentation. Our method performs decently in experiments. We achieve 50.0% mIoU on COCO dataset one-shot setting and 56.0% on five-shot segmentation, respectively. The code will be available on the project website. We hope our work can benefit broader industrial applications where novel classes with limited annotations are required to be decently identified.