ドメイン間の特徴の調整は、教師なしドメイン適応(UDA)セマンティックセグメンテーションの主流の方法の1つです。セマンティックセグメンテーションの既存の特徴アラインメント方法は、ドメインの不一致を減らすために敵対的なトレーニングによってドメイン不変の特徴を学習しますが、2つの制限があります:1)ピクセル間の関連付けが維持されない、2)ソースドメインでトレーニングされた分類器がうまく適応できなかったターゲット。本論文では、上記の問題を軽減するために、ドメインの近さの仮定に基づく新しいUDAセマンティックセグメンテーションアプローチを提案します。具体的には、プロトタイプのクラスタリング戦略が同じセマンティクスを持つクラスターピクセルに適用されます。これにより、フィーチャの位置合わせ中にターゲットドメインピクセル間の関連付けがより適切に維持されます。クラスタリング後、分類器をより適応性のあるものにするために、ターゲットドメインの親和性グラフに基づく正規化されたカットロスが利用されます。これにより、決定境界がターゲット固有になります。 GTA5→CityscapesおよびSYNTHIA→Cityscapesで実施された十分な実験により、私たちの方法の有効性が証明され、私たちの結果が新しい最先端を達成したことが示されました。
Feature alignment between domains is one of the mainstream methods for Unsupervised Domain Adaptation (UDA) semantic segmentation. Existing feature alignment methods for semantic segmentation learn domain-invariant features by adversarial training to reduce domain discrepancy, but they have two limits: 1) associations among pixels are not maintained, 2) the classifier trained on the source domain couldn't adapted well to the target. In this paper, we propose a new UDA semantic segmentation approach based on domain closeness assumption to alleviate the above problems. Specifically, a prototype clustering strategy is applied to cluster pixels with the same semantic, which will better maintain associations among target domain pixels during the feature alignment. After clustering, to make the classifier more adaptive, a normalized cut loss based on the affinity graph of the target domain is utilized, which will make the decision boundary target-specific. Sufficient experiments conducted on GTA5 → Cityscapes and SYNTHIA → Cityscapes proved the effectiveness of our method, which illustrated that our results achieved the new state-of-the-art.