セマンティックセグメンテーションの教師なしドメイン適応(UDA)は、ピクセルレベルのラベルを取得するのが難しい現実のシナリオに有利に適用されています。既存のUDAメソッドのほとんどでは、すべてのターゲットデータが同時に導入されると想定されています。ただし、データは通常、現実の世界では順番に表示されます。さらに、継続的な学習環境で複数のターゲットドメインを使用するより実用的なシナリオを扱う継続的なUDAは、積極的に検討されていません。この観点から、新しく設計された拡張ターゲット固有メモリ(ETM)フレームワークに基づくセマンティックセグメンテーションのための継続的なUDAを提案します。私たちの新しいETMフレームワークには、壊滅的な忘却を軽減するために、各ターゲットドメインのターゲット固有のメモリ(TM)が含まれています。さらに、提案されたダブルヒンジ敵対者(DHA)の損失により、ネットワークは全体としてより優れたUDAパフォーマンスを生成します。 TMの設計とトレーニングの目的により、セマンティックセグメンテーションネットワークは、以前のターゲットドメインで学習した知識を保持しながら、現在のターゲットドメインに適応できます。提案されたフレームワークを備えたモデルは、GTA5、SYNTHIA、CityScapes、IDD、Cross-Cityデータセットなどの標準ベンチマークの継続的な学習設定において、他の最先端のモデルよりも優れています。ソースコードはhttps://github.com/joonh-kim/ETMで入手できます。
Unsupervised Domain Adaptation (UDA) for semantic segmentation has been favorably applied to real-world scenarios in which pixel-level labels are hard to be obtained. In most of the existing UDA methods, all target data are assumed to be introduced simultaneously. Yet, the data are usually presented sequentially in the real world. Moreover, Continual UDA, which deals with more practical scenarios with multiple target domains in the continual learning setting, has not been actively explored. In this light, we propose Continual UDA for semantic segmentation based on a newly designed Expanding Target-specific Memory (ETM) framework. Our novel ETM framework contains Target-specific Memory (TM) for each target domain to alleviate catastrophic forgetting. Furthermore, a proposed Double Hinge Adversarial (DHA) loss leads the network to produce better UDA performance overall. Our design of the TM and training objectives let the semantic segmentation network adapt to the current target domain while preserving the knowledge learned on previous target domains. The model with the proposed framework outperforms other state-of-the-art models in continual learning settings on standard benchmarks such as GTA5, SYNTHIA, CityScapes, IDD, and Cross-City datasets. The source code is available at https://github.com/joonh-kim/ETM.