このホワイトペーパーでは、クラスインクリメンタルセマンティックセグメンテーション(CISS)問題の最新のベースラインを紹介します。最近のCISSアルゴリズムは、知識蒸留(KD)手法の変形を利用して問題に取り組んでいますが、CISSの重大な課題に完全に対処できず、壊滅的な忘却を引き起こしていました。バックグラウンドクラスのセマンティックドリフトとマルチラベル予測の問題。これらの課題により適切に対処するために、セマンティックセグメンテーションに合わせた手法を慎重に組み合わせることにより、SSUL-M(メモリ付きの不明なラベルを使用したセマンティックセグメンテーション)と呼ばれる新しい方法を提案します。具体的には、3つの主要な貢献を主張します。 (1)バックグラウンドクラス内で未知のクラスを定義して将来のクラスの学習に役立てる(可塑性を助ける)、(2)バックボーンネットワークと過去の分類器をバイナリクロスエントロピー損失と疑似ラベリングで凍結して壊滅的な忘却を克服する(安定性を助ける)、 (3)CISSで初めて小さな模範メモリを利用して、可塑性と安定性の両方を向上させます。広範囲に実施された実験は、私たちの方法の有効性を示しており、標準ベンチマークデータセットの最近の最先端のベースラインよりも大幅に優れたパフォーマンスを達成しています。さらに、徹底的なアブレーション分析で貢献を正当化し、従来のクラス増分学習ターゲティング分類と比較して、CISS問題のさまざまな性質について説明します。公式コードはhttps://github.com/clovaai/SSULで入手できます。
This paper introduces a solid state-of-the-art baseline for a class-incremental semantic segmentation (CISS) problem. While the recent CISS algorithms utilize variants of the knowledge distillation (KD) technique to tackle the problem, they failed to fully address the critical challenges in CISS causing the catastrophic forgetting; the semantic drift of the background class and the multi-label prediction issue. To better address these challenges, we propose a new method, dubbed SSUL-M (Semantic Segmentation with Unknown Label with Memory), by carefully combining techniques tailored for semantic segmentation. Specifically, we claim three main contributions. (1) defining unknown classes within the background class to help to learn future classes (help plasticity), (2) freezing backbone network and past classifiers with binary cross-entropy loss and pseudo-labeling to overcome catastrophic forgetting (help stability), and (3) utilizing tiny exemplar memory for the first time in CISS to improve both plasticity and stability. The extensively conducted experiments show the effectiveness of our method, achieving significantly better performance than the recent state-of-the-art baselines on the standard benchmark datasets. Furthermore, we justify our contributions with thorough ablation analyses and discuss different natures of the CISS problem compared to the traditional class-incremental learning targeting classification. The official code is available at https://github.com/clovaai/SSUL.