教師なしドメイン適応 (UDA) は、ラベル付けされたソース ドメインのモデルをラベル付けされていないターゲット ドメインに適合させることを目的としています。既存の UDA ベースのセマンティック セグメンテーション アプローチでは、ピクセル レベル、機能レベル、および出力レベルのドメイン シフトが常に削減されます。ただし、それらのほとんどすべては、一般に異なるドメイン間で共有されるコンテキスト依存性をほとんど無視しており、望ましくないパフォーマンスにつながっています。この論文では、ドメイン適応型セマンティック セグメンテーションのための新しい Context-Aware Mixup (CAMix) フレームワークを提案します。これは、コンテキスト依存性のこの重要な手がかりを、完全にエンドツーエンドのトレーニング可能な方法で明示的な事前知識として利用し、適応性を向上させます。ターゲット ドメイン。まず、蓄積された空間分布と以前のコンテキスト関係を活用することにより、コンテキストマスク生成戦略を提示します。生成されたコンテキスト マスクは、この作業において重要であり、3 つの異なるレベルでコンテキスト認識ドメインの混同をガイドします。さらに、コンテキスト知識があれば、混合生徒の予測と混合教師の予測の間の不一致にペナルティを課すために、重要度を再重み付けした整合性損失を導入します。広範な実験と分析により、広く使用されているUDAベンチマークに対する最先端のアプローチに対する私たちの方法の有効性が実証されています。
Unsupervised domain adaptation (UDA) aims to adapt a model of the labeled source domain to an unlabeled target domain. Existing UDA-based semantic segmentation approaches always reduce the domain shifts in pixel level, feature level, and output level. However, almost all of them largely neglect the contextual dependency, which is generally shared across different domains, leading to less-desired performance. In this paper, we propose a novel Context-Aware Mixup (CAMix) framework for domain adaptive semantic segmentation, which exploits this important clue of context-dependency as explicit prior knowledge in a fully end-to-end trainable manner for enhancing the adaptability toward the target domain. Firstly, we present a contextual mask generation strategy by leveraging the accumulated spatial distributions and prior contextual relationships. The generated contextual mask is critical in this work and will guide the context-aware domain mixup on three different levels. Besides, provided the context knowledge, we introduce a significance-reweighted consistency loss to penalize the inconsistency between the mixed student prediction and the mixed teacher prediction, which alleviates the negative transfer of the adaptation, e.g., early performance degradation. Extensive experiments and analysis demonstrate the effectiveness of our method against the state-of-the-art approaches on widely-used UDA benchmarks.