セマンティックセグメンテーション(NCDSS)での新規クラス発見の新しい設定を紹介します。これは、ラベル付けされた互いに素なクラスのセットから事前知識を与えられた新しいクラスを含むラベル付けされていない画像をセグメント化することを目的としています。画像分類における新しいクラスの発見を検討する既存のアプローチとは対照的に、私たちはより挑戦的なセマンティックセグメンテーションに焦点を当てています。 NCDSSでは、オブジェクトと背景を区別し、画像内に複数のクラスが存在することを処理する必要があります。これにより、ラベルのないデータを使用することが難しくなります。この新しい設定に取り組むために、ラベル付けされた基本データと顕著性モデルを活用して、基本的なフレームワークでモデルトレーニング用の新しいクラスを大まかにクラスター化します。さらに、エントロピーベースの不確実性モデリングと自己トレーニング(EUMS)フレームワークを提案して、ノイズの多い疑似ラベルを克服し、新しいクラスのモデルパフォーマンスをさらに向上させます。私たちのEUMSは、エントロピーランキング手法と動的な再割り当てを利用して、クリーンなラベルを抽出し、それによって、自己監視学習を介してノイズの多いデータを最大限に活用します。 NCDSSベンチマークはPASCAL-5 ^ iデータセットに基づいて構築されています。広範な実験により、基本フレームワークの実現可能性(49.81%の平均mIoUを達成)とEUMSフレームワークの有効性(基本フレームワークを9.28%mIoU上回る)が実証されています。
We introduce a new setting of Novel Class Discovery in Semantic Segmentation (NCDSS), which aims at segmenting unlabeled images containing new classes given prior knowledge from a labeled set of disjoint classes. In contrast to existing approaches that look at novel class discovery in image classification, we focus on the more challenging semantic segmentation. In NCDSS, we need to distinguish the objects and background, and to handle the existence of multiple classes within an image, which increases the difficulty in using the unlabeled data. To tackle this new setting, we leverage the labeled base data and a saliency model to coarsely cluster novel classes for model training in our basic framework. Additionally, we propose the Entropy-based Uncertainty Modeling and Self-training (EUMS) framework to overcome noisy pseudo-labels, further improving the model performance on the novel classes. Our EUMS utilizes an entropy ranking technique and a dynamic reassignment to distill clean labels, thereby making full use of the noisy data via self-supervised learning. We build the NCDSS benchmark on the PASCAL-5^i dataset. Extensive experiments demonstrate the feasibility of the basic framework (achieving an average mIoU of 49.81%) and the effectiveness of EUMS framework (outperforming the basic framework by 9.28% mIoU).