この作業では、壊滅的な忘却なしに新しいクラスを継続的に組み込むためにディープニューラルネットワークが必要とされる、継続的なセマンティックセグメンテーション問題を研究します。古い知識と新しい知識の両方の表現学習を分離するために、表現補償(RC)モジュールと呼ばれる構造的な再パラメーター化メカニズムを使用することを提案します。 RCモジュールは、動的に進化した2つのブランチで構成され、1つはフリーズされ、もう1つはトレーニング可能です。さらに、モデルの可塑性と安定性をさらに強化するために、空間次元とチャネル次元の両方でプールされたキューブ知識蒸留戦略を設計します。 2つの挑戦的な継続的セマンティックセグメンテーションシナリオ、継続的クラスセグメンテーションと継続的ドメインセグメンテーションで実験を行います。推論中に余分な計算オーバーヘッドとパラメーターがないため、私たちの方法は最先端のパフォーマンスを上回ります。コードはhttps://github.com/zhangchbin/RCILで入手できます。
In this work, we study the continual semantic segmentation problem, where the deep neural networks are required to incorporate new classes continually without catastrophic forgetting. We propose to use a structural re-parameterization mechanism, named representation compensation (RC) module, to decouple the representation learning of both old and new knowledge. The RC module consists of two dynamically evolved branches with one frozen and one trainable. Besides, we design a pooled cube knowledge distillation strategy on both spatial and channel dimensions to further enhance the plasticity and stability of the model. We conduct experiments on two challenging continual semantic segmentation scenarios, continual class segmentation and continual domain segmentation. Without any extra computational overhead and parameters during inference, our method outperforms state-of-the-art performance. The code is available at https://github.com/zhangchbin/RCIL.