セマンティックセグメンテーションモデルのトレーニングには、細かく注釈が付けられた大量のデータが必要であるため、この条件を満たさない新しいクラスにすばやく適応することは困難です。少数ショットセグメンテーション(FS-Seg)は、多くの制約でこの問題に取り組みます。この論文では、Generalized Few-Shot Semantic Segmentation(GFS-Seg)と呼ばれる新しいベンチマークを紹介し、例が非常に少ない新規カテゴリと十分な例がある基本カテゴリを同時にセグメント化する一般化能力を分析します。これは、以前の代表的な最先端のFS-SegメソッドがGFS-Segで不十分であり、パフォーマンスの不一致が主にFS-Segの制約された設定に起因することを示した最初の研究です。 GFS-Segを扱いやすくするために、元のモデルの構造を変更せずに適切なパフォーマンスを実現するGFS-Segベースラインを設定しました。次に、コンテキストはセマンティックセグメンテーションに不可欠であるため、1)サポートサンプルからの共起事前知識を活用し、2)コンテキスト情報を分類器に動的に強化することにより、パフォーマンスを大幅に向上させるコンテキストアウェアプロトタイプ学習(CAPL)を提案します。各クエリ画像のコンテンツを条件とします。 2つの貢献は両方とも、実質的な実用上のメリットがあることが実験的に示されています。 Pascal-VOCとCOCOに関する広範な実験により、CAPLの有効性が明らかになり、CAPLは、競争力のあるパフォーマンスを達成することにより、FS-Segによく一般化されます。コードは公開されます。
Training semantic segmentation models requires a large amount of finely annotated data, making it hard to quickly adapt to novel classes not satisfying this condition. Few-Shot Segmentation (FS-Seg) tackles this problem with many constraints. In this paper, we introduce a new benchmark, called Generalized Few-Shot Semantic Segmentation (GFS-Seg), to analyze the generalization ability of simultaneously segmenting the novel categories with very few examples and the base categories with sufficient examples. It is the first study showing that previous representative state-of-the-art FS-Seg methods fall short in GFS-Seg and the performance discrepancy mainly comes from the constrained setting of FS-Seg. To make GFS-Seg tractable, we set up a GFS-Seg baseline that achieves decent performance without structural change on the original model. Then, since context is essential for semantic segmentation, we propose the Context-Aware Prototype Learning (CAPL) that significantly improves performance by 1) leveraging the co-occurrence prior knowledge from support samples, and 2) dynamically enriching contextual information to the classifier, conditioned on the content of each query image. Both two contributions are experimentally shown to have substantial practical merit. Extensive experiments on Pascal-VOC and COCO manifest the effectiveness of CAPL, and CAPL generalizes well to FS-Seg by achieving competitive performance. Code will be made publicly available.