arXiv reaDer
Simpler is Better: Few-shot Semantic Segmentation with Classifier Weight Transformer
数ショットのセマンティックセグメンテーションモデルは、通常、CNNエンコーダー、CNNデコーダー、および単純な分類器(前景ピクセルと背景ピクセルを分離)で構成されます。ほとんどの既存のメソッドは、新しいクラスにすばやく適応するために、3つのモデルコンポーネントすべてをメタ学習します。ただし、利用できるサポートセットイメージが1つしかないことを考えると、3つのコンポーネントすべてを新しいクラスに効果的にモデル化することは非常に困難です。この作業では、エンコーダーとデコーダーを事前トレーニングに任せながら、最も単純なコンポーネントである分類器のみに焦点を当てることにより、メタ学習タスクを簡素化することを提案します。十分な注釈を付けた一連の多様なトレーニングクラスで既成のセグメンテーションモデルを事前トレーニングすると、エンコーダーとデコーダーは、目に見えないクラスに適用できる豊富な識別機能をキャプチャできるため、後続のメタ学習段階が不要になると仮定します。 。分類器のメタ学習のために、サポートセットでトレーニングされた分類器の重みを帰納的な方法で各クエリ画像に動的に適応させるように設計された分類器重み変換器(CWT)を導入します。 2つの標準ベンチマークでの広範な実験は、その単純さにもかかわらず、私たちの方法が最先端の代替案をはるかに上回っていることを示しています。コードはで入手できます。 。
A few-shot semantic segmentation model is typically composed of a CNN encoder, a CNN decoder and a simple classifier (separating foreground and background pixels). Most existing methods meta-learn all three model components for fast adaptation to a new class. However, given that as few as a single support set image is available, effective model adaption of all three components to the new class is extremely challenging. In this work we propose to simplify the meta-learning task by focusing solely on the simplest component, the classifier, whilst leaving the encoder and decoder to pre-training. We hypothesize that if we pre-train an off-the-shelf segmentation model over a set of diverse training classes with sufficient annotations, the encoder and decoder can capture rich discriminative features applicable for any unseen classes, rendering the subsequent meta-learning stage unnecessary. For the classifier meta-learning, we introduce a Classifier Weight Transformer (CWT) designed to dynamically adapt the supportset trained classifier's weights to each query image in an inductive way. Extensive experiments on two standard benchmarks show that despite its simplicity, our method outperforms the state-of-the-art alternatives, often by a large margin.Code is available on
updated: Mon Aug 09 2021 14:53:33 GMT+0000 (UTC)
published: Fri Aug 06 2021 10:20:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト