セマンティックセグメンテーションのためのマルチドメイン学習における最近の取り組みは、ユニバーサルな共同モデルで複数の地理的データセットを学習しようとしています。 3つの人気のある道路シーンセグメンテーションデータセットで順次実行される単純な微調整実験は、既存のセグメンテーションフレームワークが一連の視覚的に異なる地理的ドメインで段階的に学習できないことを示しています。新しいドメインを学習するとき、モデルは以前に学習した知識を壊滅的に忘れます。この作業では、セマンティックセグメンテーションのためのマルチドメインインクリメンタル学習の問題を提起します。特定の地理的ドメインでトレーニングされたモデルが与えられた場合、目標は、(i)新しい地理的ドメインを段階的に学習し、(ii)古いドメインでのパフォーマンスを維持しながら、(iii)前のドメインのデータセットにアクセスできないことを前提としています。専用のドメイン固有のパラメーターが各ドメインの統計を学習しながら、すべてのドメインに存在する同種のセマンティック機能をキャプチャするために、普遍的に共有されるドメイン不変のパラメーターを割り当てる動的アーキテクチャを提案します。私たちの新しい最適化戦略は、古い知識の保持(安定性)と新しい知識の獲得(可塑性)の間のバランスをとるのに役立ちます。ドイツ(Cityscapes)、米国(BDD100k)、およびインド(IDD)の道路からの実際の運転シーンに関連するドメイン増分設定に対する提案されたソリューションの有効性を示します。
Recent efforts in multi-domain learning for semantic segmentation attempt to learn multiple geographical datasets in a universal, joint model. A simple fine-tuning experiment performed sequentially on three popular road scene segmentation datasets demonstrates that existing segmentation frameworks fail at incrementally learning on a series of visually disparate geographical domains. When learning a new domain, the model catastrophically forgets previously learned knowledge. In this work, we pose the problem of multi-domain incremental learning for semantic segmentation. Given a model trained on a particular geographical domain, the goal is to (i) incrementally learn a new geographical domain, (ii) while retaining performance on the old domain, (iii) given that the previous domain's dataset is not accessible. We propose a dynamic architecture that assigns universally shared, domain-invariant parameters to capture homogeneous semantic features present in all domains, while dedicated domain-specific parameters learn the statistics of each domain. Our novel optimization strategy helps achieve a good balance between retention of old knowledge (stability) and acquiring new knowledge (plasticity). We demonstrate the effectiveness of our proposed solution on domain incremental settings pertaining to real-world driving scenes from roads of Germany (Cityscapes), the United States (BDD100k), and India (IDD).